HadoopでHDFSを読み込むときのI/O時間

Question

HadoopでI/O（HDFSから読み込む）を実行するときにマップと縮小にかかる時間を測定したいと思います。私は糸を使用しています。 Hadoop 2.6.0。 そのオプションは何ですか？

Answer 1

btraceを正確に測定する必要がある場合は、mapreduce.{map,reduce}.java.optsでタスクにjavaagentとして追加してから、好きなように測定するスクリプトを作成してください。 btraceスクリプトのサンプルはhereです。

また、HTraceもあります。これも参考になるかもしれません。

Answer 2

大まかに、カスタムカウンタを作成している可能性があります。マッパーとレデューサーの両方で、マッパー（またはレデューサー）が処理を開始し、終了するときにタイムスタンプを収集することができます。開始時刻と終了時刻のタイムスタンプから計算してカスタムカウンターに追加します。つまり、マッパーはMAPPER_RUNNING_TIMEに追加され、レデューサーはREDUCER_RUNNING_TIME（または名前を付けたい名前）に追加されます。実行が終了したら、カウンターの集計値をそれぞれMILLIS_MAPSとMILLIS_REDUCESから引きます。しかし、ステージ時間がMILLIS_MAPSとMILLIS_REDUCESに含まれているかどうかを確認するために、Hadoopのソースコードを調べる必要があります。この見積もりでは、タスクが同時に実行されていることを考慮する必要があるため、時間はむしろ合計（またはすべてのマッパーとレデューサーに対して集計）されます。

私はこれを個人的に行っていませんが、あなたがより良いものを見つけない限り、この解決法が機能すると思います。