ジョブの呼び出しの相違

Question

main()とToolRunner.run()のmapreduceジョブを呼び出す違いは何ですか？主なクラスがMapReduce extends Configured implements Toolと言うとき、mainメソッドから単純にジョブを実行するだけでは得られない追加の特権は何ですか？ありがとう。

Answer 1

そこには特別な権限ませんが、あなたのコマンドラインオプションを使用すると、特定の構成プロパティを抽出し、そこから設定オブジェクトを設定できるようになりますGenericOptionsParser、経由して実行します：むしろ、基本的には

http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/util/GenericOptionsParser.html

を解析し、いくつかのこと（リストの引数のインデックスを使用して）コマンドラインから明示的に設定プロパティを設定することができます：

hadoop jar myJar.jar com.Main prop1value prop2value 

public static void main(String args[]) { 
    Configuration conf = new Configuration(); 
    conf.set("prop1", args[0]); 
    conf.set("prop2", args[1]); 

    conf.get("prop1"); // will resolve to "prop1Value" 
    conf.get("prop2"); // will resolve to "prop2Value" 
} 

ToolRunnerと縮合しE：しかし警告の

hadoop jar myJar.jar com.Main -Dprop1=prop1value -Dprop2=prop2value 

public int run(String args[]) { 
    Configuration conf = getConf(); 

    conf.get("prop1"); // will resolve to "prop1Value" 
    conf.get("prop2"); // will resolve to "prop2Value" 
} 

最後にひとつの単語：設定方法getConfを（）を使用した場合、最初のジョブオブジェクトを作成し、その設定を抜く - 仕事のコンストラクタはConfigruationオブジェクトのコピーを作成しますあなたが渡された参照に変更を行った場合、あなたの仕事は、これらの変更は表示されませんので、渡された：

public int run(String args[]) { 
    Configuration conf = getConf(); 

    conf.set("prop3", "blah"); 

    Job job = new Job(conf); // job will have a deep copy of conf 

    conf.set("prop4", "dummy"); // here we're amending the original conf 

    job.getConfiguration().get("prop4"); // will resolve to null 
} 

Answer 2

（ToolRunner .RUNを使用することにより）、任意のHadoopのアプリケーションはstandard command line optionsは、Hadoopのでサポートされて処理することができます。 ToolRunnerは内部でGenericOptionsParserを使用します。要するに、コマンドラインで提供されているhadoop固有のオプションが解析され、アプリケーションのConfigurationオブジェクトに設定されます。単にmain（）を使うと、これは自動的に起こりません。

例えば、あなたが言う場合：

% hadoop MyHadoopApp -D mapred.reduce.tasks=3 

はその後 ToolRunner.run(new MyHadoopApp(), args)が自動的 Configurationオブジェクト内の3にvalueパラメータ mapred.reduce.tasksを設定します。

私たちが取得する追加の特典はありません。一般的に、人々はハープ・ジョブで単にmain（）を使用しません。 .run（）を使用するのが標準的な方法です。