スパークとカサンドラ、キークラスタリングに範囲クエリは

Question

私は次の構造を持つカサンドラテーブルを持っている：

TABLEテーブルを作成します（ キーはint、 タイムスタンプ、 対策フロート、 主キー（キー、時間） ）;

私は、タイムスタンプが戻ってカサンドラに何らかの処理、およびフラッシュ結果を行う指定された開始と終了の範囲内、前のテーブルからデータを読み込みますスパークジョブを作成する必要があります。

私のspark-cassandraコネクタは、クラスタリングのcassandraテーブルの列に対して範囲クエリを実行する必要があります。私がしなければ

は、パフォーマンスの違いがあります：

sc.cassandraTable(keyspace,table). 
as(caseClassObject). 
filter(a => a.time.before(startTime) && a.time.after(endTime)..... 

ので、私がやっていることはスパークにすべてのデータをロードし、フィルタリング

を適用したり、私はこれを行う場合はされています

sc.cassandraTable(keyspace, table). 
where(s"time>$startTime and time<$endTime)...... 

を

は、Cassandraのすべてのデータをフィルタリングし、小さなサブセットをSparkにロードします。

範囲クエリの選択性は約1％です。 クエリにパーティションキーを含めることはできません。

これらの2つのソリューションのどちらを優先しますか？

Answer 1

sc.cassandraTable(keyspace, table).where(s"time>$startTime and time<$endTime) 

もっと速くなります。基本的には、同じデータを得るために、最初のコマンドで完全グラブのパーセンテージ（全仕事の5％を5％だけ引く場合）を実行しています。あなたはカサンドラのすべてのデータを読み込み

1. ある最初のケースで

   。

2. すべてのオブジェクトをシリアライズし、それをSparkに移動します。
3. 最後にすべてをフィルタリングします。あなたが実際にはステップ3

はありませんこれだけの小さなサブセット

のシリアルC *

から必要なデータだけを読み込み

1. ある第2のケースで

追加のコメントとして、ケースクラスタイプをコールに直接入れることができます

sc.cassandraTable[CaseClassObject](keyspace, table)