Hbaseクラスタでのテーブルスキャン全体の影響を減らすにはどうすればよいですか？

Question

Hbaseクラスタに対するクエリの影響が限定的になる可能性はありますか？

「はい」の場合は、何を達成する必要がありますか？

ユーザーを識別し、クエリの影響を制限したり、リソースを割り当てるためにケルベロスが必要ですか？

phoenixのクエリが悪いと、Hbaseクラスタ全体が強制終了する可能性があります。これは実際に変更したいものです。私はこのトピックのヒントに非常に感謝します。

Answer 1

2.0より前のバージョンでOLAPクエリを実行すると、Splice Machineに同様の問題が発生しました。 2.0では、Sparkで実装された新しい実行エンジンを導入しました。このエンジンは、HFilesから直接データを読み取り、HBase Memstoreからのデータとマージするハイブリッドスキャナを使用しています。このため、大規模スキャンの領域サーバへの影響を最小限に抑え、メモリデータ内のHBaseにのみアクセスするからです。

our repositoryで実装した方法を確認できます。主なクラスはSplitRegionScannerとMemstoreAwareObserverです。