0
ハイブに（col2の16個のバケットで）バケット化されたパーティションテーブル（col1）があります。レデューサーの仕事は産んでいますか？ハイブのパーティションとバケットテーブルのマップと削減タスクの数
A
答えて
0
入力テーブルの入力分割ごとに、入力分割のデフォルトサイズがブロックサイズになる1つのマッパーがディスパッチされます。
mapreduce.input.fileinputformat.split.maxsizeおよびmapreduce.input.fileinputformat.split.minsizeプロパティを変更すると、マッパーの数を変更できます。
ハイブのレデューサーの数については、デフォルトではhive.exec.reducers.bytes.per.reducerプロパティを使用して計算されます（デフォルト値は1GB）。
上記のプロパティを変更することで、減速機の数を設定することができます。それでも、mapred.reduce.tasksプロパティーを使用して、ジョブの一定数の減速機を設定することもできます。
あなたはどのように多くのHDFSデータファイルは、あなたのWHERE句のスコープ内のパーティション/バケツに存在している？以下のリンク
How hadoop decides how many nodes will do map and reduce tasks
関連する問題
- 1. は、パーティションの数を減らすことにより、ハイブの表のパーティションを変更
- 2. タスク数削減Spark
- 3. ハイブのパーティション
- 4. パーティションへのハイブ書き込みとDEFAULT
- 5. ハイブの動的パーティションと静的パーティションのベストプラクティスは何ですか？
- 6. スキューvsハイブのパーティション
- 7. CouchDBのビュー（マップ/削減）
- 8. フラットマップ対マップの効率とそれに続くスパークの削減
- 9. 抑制マップとハイブが
- 10. ダイナモテーブルのスループットを削減すると、パーティションに何が起こりますか？
- 11. スパーク：タスク/パーティションの数を増やす
- 12. sparkで計算されたパーティション数と同時実行タスク数
- 13. ハイブのパーティションを持つ外部テーブル
- 14. ハイブのピボットマップへのマップ
- 15. Hadoop MapReduceのマップ数とタスク数を理解する
- 16. パンダデータ削減とマージ
- 17. Hadoopのマップ削減は、私はJavaコードをマップ-削減し、私はメモリヒープサイズを定義することで次の行を使用していた私のJavaコード
- 18. バケットテーブルのハイブクエリが遅い
- 19. ハイブ2つのテーブルに1つのパーティションに他のパーティションがありません
- 20. マップ内の減速機の数を減らす
- 21. レコードの追加と量の削減
- 22. Hadoop - 複数の入力の使い方と削減方法
- 23. タスクとパーティションの関係は何ですか？
- 24. ハードドライブ上のパーティションの名前と数
- 25. 複数のRDDとパーティションの分割？
- 26. スパークML（データフレーム）とディメンションの削減
- 27. ハイブで特定の月の特定のパーティションをカウントする
- 28. Erlang Processes削減数
- 29. Hazelcastパーティション数とスレッドの同時実行
- 30. ハイブ：テーブルのすべてのパーティションを表示する方法は？
の詳細を見つけることができますかこれらのファイルにいくつのHDFSブロックがありますか？または、ORC/Parquetのような複雑な列形式を使用する場合、ファイル内に何個のストライプがあるのでしょうか？これらはマッパーの並列処理の単位です。 Reducersに関しては、まあ、それは依存します！ –