CassandraテーブルをSparkメモリに長期保存するには？

Question

私はSparkとSpark-Cassandraコネクタを使ってCassandraから自分のデータを集めています。私はそれを単一の共有SparkContextとREST APIでWebアプリケーションを持っています。

フィルタリング（Sparkの変換のシーケンス）

フィルターAPI呼び出しパラメータのみ第三工程上記のアルゴリズムにおいて

に従ってRDDの調製のためにそれを準備

1. 読むCassandraの表：処理は、次のフローを有しています呼び出しごとに異なります（apiリクエストパラメータに依存）。 APIリクエストはパラレルモード（リクエストごとのスレッド）で実行されます。テーブル内のデータはあまり動的ではなく、スパーク作業者にはテーブル全体を格納するのに十分なメモリがあるので、2番目のステップの後にRDDを永続させ、すべての要求にフィルタをかけるだけですでにRDDを保持します。また、このRDDを定期的に更新したいと思います。それを達成する最良の方法は何ですか？

Answer 1

あなただけのRDDが計算され、最初のアクションが呼び出されたときにキャッシュされます手順2の後にRDDにpersistを呼び出すことができます。データを更新する必要がある場合は、unpersistに電話してください。これにより、Sparkは古いキャッシュを破棄し、その操作が実行されると新しいキャッシュを保存します。基本的に、あなたはこのようなことをします。

var data = loadAndFilter() 
while (!stop) { 
    data.persist() 
    // Do step 3 

    // Drop the old cache 
    data.unpersist(false) 
    // Load the fresh data 
    data = loadAndFilter() 
}