ハイブ - デフォルトの出力フォーマットとしてparquet/ORCを設定する方法

Question

ハイブを使用する場合、parquet/ORCファイルフォーマットが必要な場合は、テキストをデフォルトのフォーマットとして追加する必要があります。
parquet/ORCをデフォルト出力形式に設定するにはどうすればよいですか？

Answer 1

hive.default.fileformat

デフォルト値：TextFileの
追加で：CREATE TABLE文のためのハイブ0.2.0

デフォルトのファイル形式。オプションはTextFile、 SequenceFile、RCfile、ORC、およびParquetです。ユーザーは、 を明示的に作成できます。 TEXTFILE | SEQUENCEFILE | RCFILE | ORC | AVRO | INPUTFORMAT ... OUTPUTFORMAT ...を にオーバーライドします。 （RCFILEはHive 0.6.0に、ORCは0.11.0に、AVROは 0.14.0に、寄木張りは2.3.0に追加されました）詳細については、「行フォーマット」、「記憶フォーマット」および「SerDe」を参照してください。 CREATE用HIVE-9915のデフォルトのファイル形式でハイブ

1.2.0：なし
追加で：

---

は

デフォルト値をhive.default.fileformat.managed TABLEステートメントは管理対象テーブルにのみ適用されます。外部表は、hive.default.fileformatで指定された 形式で作成されます。オプションはnone、 TextFile、SequenceFile、RCfile、ORC、およびParquet（Hive 2.3.0以降）です。 このnullを残すと、すべての ネイティブテーブルに対してhive.default.fileformatが使用されます。非ネイティブ・テーブルの場合、ファイル・フォーマットは、以下に示すように ストレージ・ハンドラによって決定されます。 用語の管理/外部およびネイティブ/非ネイティブの詳細は、StorageHandlersセクション を参照してください。外部表の

---

+----------+---------------------------------------------------------------------------+-------------------------------------+ 
|   |         Native         |    Non-Native    | 
+----------+---------------------------------------------------------------------------+-------------------------------------+ 
| Managed | hive.default.fileformat.managed (or fall back to hive.default.fileformat) | Not covered by default file-formats | 
| External | hive.default.fileformat             | Not covered by default file-formats | 
+----------+---------------------------------------------------------------------------+-------------------------------------+ 

https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-FileFormats

Answer 2

、次のコマンドを実行します。管理テーブルの場合

set hive.default.fileformat=Parquet 

を、次のコマンドを実行します。

set hive.default.fileformat.managed=Parquet 

これは、現在のセッションでのみ設定されます。ハイブ設定全体に対してこれらを設定する場合は、hive-site.xmlでこれらのプロパティを設定し、ハイブサービスを再開してください。