マップ/リダクション中に死んだデータノードを処理する方法

Question

マップ/リダクションが使用しているデータノードがダウンするとどうなりますか？ジョブを別のデータノードにリダイレクトする必要はありませんか？私のコードはこの例外条件をどのように処理すべきですか？

Answer 1

datanodeがダウンすると、そのノードで実行中のタスク（タスクトラッカーとしても使用していると仮定します）は失敗し、これらの失敗したタスクは他のタスクトラッカーに割り当てられて再実行されます。デッドデータノードで失われたデータブロックは、クラスタ間でデータが複製されるため、他のデータノードでも使用できます。したがって、たとえデータノードがダウンしたとしても、失敗したタスクの再実行での非常に短い遅延を除いて、いかなる損失もありません。これらはすべてフレームワークによって処理されます。あなたのコードはこれを心配する必要はありません。

Answer 2

これは、主にHDFSレプリケーションに依存します。 1より大きい場合、ジョブは「ダウン」されたサーバー上にないブロックを要求します。有効なレプリケーションがあれば、ジョブにストリーム配信され、ジョブは新しいブロックで再度実行されます。

私のコードはこの例外条件をどのように処理する必要がありますか？

ジョブ全体が失敗した場合でも、このような例外は発生しません。この場合、ジョブのスケジュールを変更して、データノードが復旧することを期待できます。