糸のコンテナのサイズとTezコンテナの管理

Question

私は約15 TBの糸資源を持つクラスターを持っています。私はハイブを通してクエリを送信しようとしています。私のデフォルトコンテナサイズは4GBです。そのクエリで割り当てられるマッパーの数は約1000です。私は糸キューに合計10％のリソースが割り当てられています。したがって、単一の時点では430のコンテナしか割り当てられません。各マッパーには合計1個のコンテナが割り当てられます。 HDFSのブロックサイズは128 MBです。どのように私はクエリをoptmizeすることができます。

Answer 1

あなたは、メモリの設定、（あなたがそれを与えていないので）あなたの次のステップは、クエリを最適化するので、細かい音

• Additionally tune the Tez containers
• があなたのHDFSの入力ファイルは、およそ次のようにしてくださいます言及しましたHDFSブロックのサイズ
• あなたのフルがある場合は、別のキューを使用してください。 （SET tez.queue.name）
• はあなたWHERE条項に基づいて、最も理にかなって列にあなたのハイブのテーブルを分割します。
• データがORC w/ZLib圧縮として格納されていることを確認します。
• 可能であれば、LLAPを使用してください。