「マップ出力マテリアライズド・バイト」と「マップ出力バイト」との比較

Question

hadoopジョブ・カウンタでは、「マップ出力マテリアライズド・バイト」と「マップ出力バイト」の違いは何ですか？私は地図出力の圧縮を無効にすると前者は表示されないので、実際の出力バイト（圧縮されたもの）は後者が圧縮されていないバイトだと思いますか？

Answer 1

あなたは正しいと思います。 からhttp://hadoop.apache.org/docs/r1.0.4/releasenotes.html：

MAPREDUCE-2365。 FileInputFormat（BYTES_READ）およびFileOutputFormat（BYTES_WRITTEN）の新しいカウンタ。圧縮MapOutputSizeの新しいカウンタMAP_OUTPUT_MATERIALIZED_BYTES。 （シッダールタセス）

（Hadoopの0.20.2からの変更）

.............................. .................................................. ..................................................

：.................ここ

はトム・ホワイトの "HadoopのDefinitive Guideの" からの引用、第3版（表8-2、261ページ）であります"Map output materialized bytes" - 実際にディスクに書き込まれるマップ出力のバイト数。マップの出力圧縮が有効になっている場合、これはカウンタ値に反映されます。

"マップ出力バイト" - ジョブのすべてのマップによって生成された非圧縮出力のバイト数。地図のOutputCollectorでcollect()メソッドが呼び出されるたびにインクリメントされます。