0
私は、各マッパーが何度も何度も別のHBaseテーブルへのランダムアクセスを必要とするmap reduceジョブを持っています。私はHBaseテーブルに多数のランダムアクセス(並行して実行中のマッパーのために)がどれぐらい効率的であるのか疑問に思っています。mapreduceジョブ内のランダムアクセスhbaseテーブル
ありがとうございます!
私は、各マッパーが何度も何度も別のHBaseテーブルへのランダムアクセスを必要とするmap reduceジョブを持っています。私はHBaseテーブルに多数のランダムアクセス(並行して実行中のマッパーのために)がどれぐらい効率的であるのか疑問に思っています。mapreduceジョブ内のランダムアクセスhbaseテーブル
ありがとうございます!
HBaseはランダムアクセスには効率的ですが、マップのサイズはどれくらいの大きさであるかによって異なりますが、何回実行すればいいのでしょうか?代替オプションを検討したい場合があります ランダム/アクセステーブルが十分小さい場合は、各マッパーのメモリにロードします(これを行うための設定を上書きします)。ランダムアクセステーブルが大きい場合は、追加のmap/reduceを実行してもう一方のmap-reduceを準備することを検討してください(両方のテーブル/統合されたテーブルを参照してください)