Cassandraにストリーミングデータセットを書き込む方法は？

Question

私はspark-cassandra-connectorでカッサンドラのテーブルに配置したいすべてのデータを持つpythonストリームソースデータフレームdfを持っています。私は2つの方法でこれをやって試してみた：

df.write \ 
    .format("org.apache.spark.sql.cassandra") \ 
    .mode('append') \ 
    .options(table="myTable",keyspace="myKeySpace") \ 
    .save() 

query = df.writeStream \ 
    .format("org.apache.spark.sql.cassandra") \ 
    .outputMode('append') \ 
    .options(table="myTable",keyspace="myKeySpace") \ 
    .start() 

query.awaitTermination() 

は、しかし、私は、それぞれ、このエラーを取得し続ける：

pyspark.sql.utils.AnalysisException: "'write' can not be called on streaming Dataset/DataFrame; 

と

java.lang.UnsupportedOperationException: Data source org.apache.spark.sql.cassandra does not support streamed writing. 

は、私は私のストリーミングを送信することができますとにかくあり私のカサンドラテーブルにDataFrame？

Answer 1

Spark Cassandra Connectorには現在カッサンドラのストリーミングはありませんSinkです。独自のSinkを実装するか、利用可能になるまで待つ必要があります。

ScalaまたはJavaを使用している場合は、foreach演算子を使用し、Using Foreachに記載されているようにForeachWriterを使用できます。