「中断した」Hadoopジョブを中断した場所から再開することは可能ですか？

Question

私は、ログファイルを処理し、いくつかの統計を報告するHadoopジョブを持っています。このジョブはファイルハンドルが不足しているため、仕事の途中で死亡しました。私はファイルハンドルの問題を修正し、 "kill"ジョブを再起動できるかどうか疑問に思っています。

Answer 1

このように、良い方法はありません。ジョブが一旦終了すると、そのジョブを再インスタンス化し、最初の失敗の直前に処理を再開することはできません。これには本当に良い理由があるかもしれませんが、私はこの問題に話す資格はありません。

私自身のケースでは、大量のログファイルを処理して、これらのファイルをインデックスにロードしていました。さらに、これらのファイルの内容に関するレポートを同時に作成していました。索引付け側での失敗に対する耐性を高めるために（副作用はありませんが、これはHadoopとはまったく関係ありません）、代わりに多くの小規模なジョブを作成するように変更しました。これらのジョブのそれぞれは、これらのログファイル。これらのジョブの1つが終了すると、処理されたログファイルの名前が変更され、再度処理されません。各ジョブは、実行前に前のジョブが完了するのを待ちます。

Chaining multiple MapReduce jobs in Hadoop

つのジョブが失敗した

、後続のジョブのすべてがすぐにその後失敗します。問題が何であっても簡単に修正し、私の仕事を再提出すると、おおよそ、中断したところで処理が行われます。障害発生時にジョブが99％完了した最悪のシナリオでは、その1つのジョブが誤って無駄に再処理されます。