Hadoop MapReduceのMapper/Reducerのセットアップとクリーンアップメソッド

Question

セットアップとクリーンアップメソッドは、それぞれマッパーとレデューサータスクで呼び出されますか？または、マッパーとリデューサーの仕事全体の開始時に一度だけ呼び出されますか？

Answer 1

これらは各タスクで呼び出されるため、20個のマッパーが実行されている場合、それぞれのセットアップ/クリーンアップが呼び出されます。

MapperとReducerの両方の標準的な実行方法はmap/reduceメソッドの周りで例外をキャッチしないため、これらのメソッドで例外がスローされた場合、クリーンアップメソッドは呼び出されません。

Answer 2

1つの説明が役立ちます。セットアップ/クリーンアップメソッドは、タスクレベルでの初期化とクリーンアップに使用されます。タスク内では、setup（）メソッドを1回呼び出すだけで最初の初期化が行われ、map（）[またはreduce（）]関数のすべての呼び出しが実行されます。その後、タスクを終了する前に、cleanup（）メソッドに対して別の呼び出しが行われます。

Answer 3

これは、MapperタスクまたはReducerタスクと呼ばれます。 ここにhadoopコードがあります。 mapreduce documentation セットアップとクリーンアップによると

public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    try { 
     while (context.nextKey()) { 
     reduce(context.getCurrentKey(), context.getValues(), context); 
     } 
    } finally { 
     cleanup(context); 
    } 
    } 

Answer 4

は、各マッパーとリデューサーのタスクのために呼ばれています。

Answer 5

あなたは仕事をすることができますあなたはjob.setNumReduceTasks（1）を行うことができます。そのようにしてレデューサーのセットアップとクリーンアップが一度だけ実行されます。