hbaseのMapreduce

Question

私はhbaseテーブル（MAP_INPUT_RECORDS = 30）から30行を処理している1つのマップ削減ジョブを実行しています。このテーブルは11000の領域を持っていますが、いつでも1つのレコードは、分割ポリシー（つまり、単一のレコードは2つ以上の地域にはありません）。ここでは、ログにマッパー65の数が増えています（TOTAL_LAUNCHED_MAPS = 65）。 hbaseドキュメントごとに、各領域に対して1つのマッパーが割り当てられます。しかし、私の場合、マッパーの数は地域以上です。いくつかの解決策を提案する。前もって感謝します。

Answer 1

11000個の領域（テーブル領域）がありますので、最大で11000個のマッパーを持つことができます。

テーブル領域をHbaseの領域サーバと混同していますか。 Hbaseは10のリージョンサーバーを持つことができ、hbaseでホストされるテーブルは1000のリージョンを持つことができます。各地域サーバーは100の地域をホストしています。

TableInputFormatは、Hbase Region Serverではなく、テーブルの領域に基づいてマッパーを生成します。

http://bytepadding.com/big-data/hbase/hbase-parameter-tuning/