MapReduceにおける永続性

Question

map/reduceのマップフェーズの作業を分けて、マッピングが実行されているとします。現在、各作業単位には約1分かかります。処理を停止する必要があるとしましょう。どのように地図/州の状態を維持して、バックアップを開始するときに最小限の時間を無駄にするでしょうか？

Answer 1

以前に見た行の処理のほとんどをスキップできるように、結果をメモする必要があります。行を識別する候補キーがある場合は、その行を使用してキャッシュを調べ、そこに格納されている処理結果をフェッチします。

memcachedまたはRedisを使用してクラスタを設定することは、メモ化を実現する1つの方法です。