Hadoop - リカバリ専用の障害復旧

Question

マップパートを4日間終了したハープジョブを実行していますが、今はリダクションの段階でサスペンドしているようです（リデューサは30％完了）

私は本当に長期的なマップ部分を再処理することなく、すべての可能な限り、削減部分を再処理する方法を持っていることを望んで、任意の提案？ 何かがおそらく私は1つの減速機しか持っていないことが悪化するでしょう。

ありがとうございます！

Answer 1

Hadoopは、ケースでReduceステップのみを再開します。

ただし、ジョブが失敗した場合は、マップステップをスキップできません。 この場合、2つのステージを別々のジョブに分割することをお勧めします。特に、マッパーが計算集約型の場合は特にそうです。