2016-09-15 7 views
0

SparkStreamingからのデータストリーミングがあります。私は処理する必要があり、最後にカッサンドラにデータを保存したい。ですから、以前はSparkCassandraコネクタを使用しようとしていました。しかし、SparkStreaming Contextオブジェクトのワーカーにはアクセスできません。ですから、私は別々のカサンドラ - スカラドライバを使用しなければなりません。したがって、私はphantomで終わった。今、私の質問は、私はすでにカスナンドラの列ファミリを定義しているということです。では、スカラから選択クエリと更新クエリをどのように行うのですか?テーブル定義なしのファントムドライバを使用してselectクエリを実行するには

私はこれらのドキュメントlink1に従っていますが、私はなぜクライアント(スカラコード)側でテーブル定義を与える必要があるのか​​分かりません。なぜ我々はちょうどKeyspaceClusterPointsColumnFamilyとそれを行うことはできません。

答えて

0

これは、ファントムを使用してまだできていない、我々は積極的にこれを行うことができるようにphantom-sparkに取り組んでいるが、この段階での時間では、これは数ヶ月離れてまだです。

これまでのところ、spark cassandraコネクタを使用して、これを実現するためにタイプセーフでないAPIを使用する必要があります。より不幸な設定ですが、近い将来にこれが解決されます。

+0

テーブル定義を作成してscalaでマッピングすると、spark-workersを通じて 'cassandra'カラムファミリに挿入できますか? – Naresh

関連する問題