誰でもmapreduce.job.reduces = -1の意味を説明してください。

Question

mapreduce.job.reduces = -1の目的を理解する必要があります。属性mapreduce.job.reducesがファイル出力を設定された値に減らしていることを理解していますが、-1は何を意味しますか？ Hive's documentationを引用

Answer 1

：

mapred.reduce.tasks < - （糸でそれがmapreduce.job.reducesある）
デフォルト値：-1
追加された場合：ハイブ0.1.0

ジョブごとの削減タスクのデフォルト数。通常、使用可能なホストの数に近いプライムに設定されます。 mapred.job.trackerが "local"のときは無視されます。 Hadoopはこれをデフォルトで1に設定し、Hiveはデフォルト値として-1を使用します。このプロパティを-1に設定すると、Hiveは自動的に減速機の数を決定します。

レデューサーの数を設定することは、出力ファイルの数を設定することよりもはるかに重要です。それは何らかの形で並列性のレベル、すなわち、いくつのタスクを並列に実行するかを定義する。 1削減タスクを使用する場合、並列処理は行われません。 2つの削減タスクが使用されている場合は、、理想的にはとすると、各削減タスクの作業負荷（および実行時間）を半減する必要があります。同じことがマッパーの数にも当てはまりますが、これは設定が難しくなります。