ORCファイルのハイブで書き込み速度を向上

Question

現在、insert overwrite table T1 select * from T2;はクラスタで約100分かかります。 Table T1 is ORCがフォーマットされ、T2 is textがフォーマットされる。私はT2から60 GBのテキストデータを読み込み、ORCテーブルT1（挿入後10 GB）に挿入しています。両方の表にテキスト形式を使用すると、挿入には約50分かかります。どちらの場合も、書き込み速度を向上させるために私たちができることは何ですか（大きなテーブルが入っています）か他の提案ですか？

Answer 1

これは、テキストからテキストにデータを書き込むときと同じように通常の動作になります。データを1つのファイルから別のファイルに1行ずつ書き込むだけです。 Text-to-ORCはそれ以外にもいくつかの作業を行います。 text-to-text操作と比較して、text-to-orcのインポートは、バケット区画操作と圧縮操作を追加してデータを処理します。それはあなたの時間の影響の再現です。しばらく、通常、INSERT操作は、単一の時間操作でデータ

で動作するようにアクセス時間を向上させるため、圧縮

にスペースの節約

• ：ORCの形式は、テキスト形式の際に二つの主な利点を提供しますアクセス操作は非常に頻繁に行われます。したがって、通常、データのインポート時に最初にもう少し時間を費やしてから、データの最適化された保存のためにスペースを節約するという大きな利点があります。