HBase-Hiveインテグレーションでの値の削除

Question

HBase-Hiveインテグレーションを使用して、HiveでHBaseを読み書きします（documentation）。それは完璧に働いて

CREATE EXTERNAL TABLE hbase.test (
    col1 string, 
    col2 map<string, double> 
) 
STORED BY 
    'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES (
    'hbase.columns.mapping'=':key, cf:', 
    'hbase.table.name'='test') 

リーディング、ライティング：

は基本的に、私のようなHBaseStorageHandlerとハイブ内のテーブルを作成します。しかし、今私は値によっていくつかの悪いデータをクリアしたい。この値は、行キーと列セルの両方にあります。つまり、col1とcol2のキーです。

documentではデータの削除に関連するものは見つかりませんでした。うまくいけば、誰かが似たような経験を持っているので、ここで私の質問に答えられる。

ありがとうございます！

Answer 1

削除の最も近い使用例は上書きです。あなたが提供したドキュメントで見つけることができます。

一般に、大きなデータ領域では削除が容易ではありません。 HBaseでは、トゥームストーンと圧縮を使って実現されます。 ハイブでは、0.14バージョンからのみ利用可能です。また、ACIDをサポートするテーブルでもそうです。再びACIDは0.13からサポートされています。

ご覧のとおり、入札データセットの削除作業は最近行われています。 不正なデータの消去を処理するために上書き挿入などのより良いオプションを計画する必要があります。

スタンドアロンとしてhbaseやhiveのように各フレームワークを個別に使用しているわけではないので、どちらの機能もフルに使用できません。バックエンドに重いSQLビューとHBaseがある場合、統合は良いことです。

また、HBaseがバックエンドで選ばれた理由は、独自の要件を持つ可能性があります。これにより、より良いソリューションを設計するのに役立ちます。