データノードでのスループットの測定

Question

各データノードのスループットは、各読み取り/書き込み操作にかかる時間を測定して測定したいと考えています。百万の機能を読んで、これがどこで起こっているのかを知ることは非常に混乱しています。誰かが一連のデータを読み書きしている間に列挙してもらえますか？バージョン1.0.1を使用しています。また、データノードでこれを測定するAPIがすでに存在する場合は、その情報を使用できます。

Answer 1

スループットを測定するために重要なクラスは、書き込みの場合はFSDataOutputStream、読み取りの場合はFSDataInputStreamです。読む

ファイル：ファイルを読むことFileSystemオブジェクトに呼び出しopen()あるときにノードが最初に行うこと。この時点で、このノードはすぐに読み込みを開始し、この呼び出しが成功した後にコードを配置して測定に備えることができます。 HDFS上でopen()を呼び出すと、NameNodeと通信してブロックロケーションを収集する（発信ノードの近接性に従ってソートされた）DistributedFileSystemがインスタンス化されます。最後に、DistributedFileSystemオブジェクトは、DFSInputStream（ "読み取り"ブロックを参照し、失敗を処理します）をラップする、FSDataInputStream（ファイルを読むと見ます）を返します。あなたの測定値は、read()とclose()のFSDataInputStreamでのコールの範囲内になります。

ファイル書き込み：ノードは、FileSystemでcreate()を呼び出します。この時点でファイルのパーミッション、アベイラビリティなどを含むさまざまなチェックが行われますが、正常終了するとが返されます。DFSOutputStreamをラップしたオブジェクトです。同じ概念が、連続的な書き込みを見る場合に適用され、他方は複製係数のコヒーレンシを処理する（すなわち、1回の書き込み= 3回の書き込み）および失敗に適用される。読み取りと同様に、write()とclose()のFSDataInputStreamの呼び出しの範囲内で測定されます。

クラスタ内のすべてのノードでこれをグローバルに実行するには、クラスタで共有するHadoopの配布の一部としてこれらのメソッドをオーバーライドする必要があります。