2012-02-03 9 views
0

私は何ヶ月もHbaseを使用しており、6GBを超えるデータを持つHbaseテーブルをロードしました。私はJavaクライアントを使用して行をスキャンしようとしたとき、それがハングアップし、次のエラーを報告し、私はシェルとスキャンするにはログイン場合Hbaseクライアントスキャナがハングする

Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs 

は、さらにそれが完璧に動作しても、Javaクライアントスキャナはデータ量の少ないHBaseのテーブルのために正常に動作します。

これにはどのような回避策がありますか?

答えて

0

大きなデータの場合は、マップリダクションコードを書くことができます。シンプルなJavaプログラムは、大きなデータに関してはあまり効果的ではありません。あなたはそれを達成するために豚のスクリプトを見ることができます。

チェックアウト、これらのさらなる助けのため:

http://sujee.net/tech/articles/hadoop/hbase-map-reduce-freq-counter/

http://wiki.apache.org/hadoop/Hbase/MapReduce

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/package-summary.html

さもないと、あなたもMAPTプログラムを減らすための豚のスクリプトを試してみることができます。

http://pig.apache.org/docs/r0.9.1/api/org/apache/pig/backend/hadoop/hbase/HBaseTableInputFormat.html

もう一つのオプションは、プロパティをHBaseの時間を増やし、試してみるがあります。あなたが参照できる設定異なるHBaseの構成から:

http://hbase.apache.org/docs/r0.20.6/hbase-conf.html

しかし、それは大規模なデータ地図-減らすコードに来るとき、常に優れている、とあなたもHBaseのためのガイドライン/ベストプラクティスを最適化するために検索することができます。

関連する問題