Hadoopはレデューサーマッピングにキーを記録しますか？

Question

SplunkでHadoopのログ出力を表示しています。各レデューサーにどのキーが割り当てられているのかを見たい。この情報はHadoopによって記録されますか？関連するログ行を検索するために、クエリで使用するキーワードは何ですか？

Answer 1

簡単な答えは次のとおりです。いいえ、レジューサーは、処理されたキーや値に関連するものは何も記録しません。

BigDataでは、ログラインの数が非常に大きくなる可能性があるため、この情報をログに記録することはお勧めできません。

あなたはデータ量の少ないいくつかのテストを実行している場合、あなたはあなたの減速中にいくつかののSystem.out.println行が含まれていますが、データの大きな量の処理を開始するときにそれらを聞かせないように世話をすることができます。