hadoopのjob.submitとjob.waitForCompleteの違いは何ですか？

Question

私は違いを知っているので、私はドキュメントを読んだ。

しかし私の質問では、クラスタで複数のHadoopジョブを並行して実行したい場合は、waitForCompleteの代わりに.submitを使用すると危険ですか？

私はほとんどが弾力マップを使用します。

私はそうしようとしたので、私は最初のジョブだけが実行されていることに気づいた。

Answer 1

ジョブを並行して実行する場合は、job.submit()を使用してもリスクはありません。主な理由job.waitForCompletionが存在するのは、ジョブの終了時にのみメソッド呼び出しが返され、成功または失敗のステータスが返され、それ以降のステップを実行するかどうかを判断するために使用できます。

これで、最初に実行されたジョブだけが表示されます。これは、デフォルトでは、HadoopがジョブをFIFO順にスケジューリングするためです。あなたは確かにこの動作を変更することができます。続きを読むhere。