spark-cassandra-connector

0熱

1答えて

半構造化データを持つtxtファイルがありますが、spark-cassandraを使用してcassandraに書き込む必要があります。しかし、最初の私はスカラだけで何を解析する。私のコード： import java.io.File import scala.io.Source object parser extends App { val path = "somepath"

1熱

1答えて

PysparkとCassandra接続エラー

問題が発生しました。インポート時にcassandra接続コードのサンプルを書き込むと、エラーが発生する。 iは ./spark-submit --jars spark-cassandra-connector_2.11-1.6.0-M1.jar /home/beyhan/sparkCassandra.py ./spark-submit --jars spark-cassandra-connect

5熱

1答えて

Cassandraテーブルにデータを挿入するSpark DataFrameを使用する

私はScalaバージョン2.10.5のCassandra 3.0とSpark 1.6を使用しています。私は基本的な例にCassandra.Soに動作し、可能な挿入データ scala> val collection = sc.parallelize(Seq(("cat", 30), ("fox", 40))) scala> collection.saveToCassandra("test", "w

1熱

1答えて

Spark 1.6 aデータフレームをCassandraに挿入

データフレームにcassandraを挿入しようとしています。私は rdd.tosaveToCasssandra（「鍵空間」、「テーブル」）を書く問題ありませんが、私は私が試みたが、保存されませんでした。また、この機能を myDataFrame.tosaveToCassandra("keyspace","table") を書き込むことはできません。 myDataFrame.write.for

0熱

1答えて

org.apache.spark.sql.cassandra.CassandraSQLContextをインポートできません

私のパスにspark-cassandra-connector_2.11-2.0.0-M3.jarがありますが、引き続きorg.apache.spark.sqlをインポートできません.cassandra.CassandraSQLContext。これは他のパッケージにありますか？すべてのドキュメントがこのパッケージを指しています（または非推奨）。ありがとうございました

0熱

1答えて

が、私はApacheは2.0スパーク使用していますキー列

を使用してカサンドラは、Apache Cassandraの3.7 をApacheのスパークのJavaコネクタを使用してカサンドラDBから行を削除し、Apacheはカサンドラ2.11のためのJavaコネクタをスパーク（2.0.0-M3）私が欲しいですキー列の値に基づいてカサンドラのテーブルから少数の行を削除します。データセットを使用し、Apache Spark Java Connector for

-1熱

1答えて

CassandraバッチInvalidQueryException - バッチが大きすぎます

バッチを使用してCassandraにデータを挿入しています。私はジョブを実行すると例外よりも下になります。 caused by: com.datastax.driver.core.exceptions.InvalidQueryException: Batch too large at com.datastax.driver.core.Responses$Error.asException

0熱

1答えて

リソースを増やすとSpark Streaming Job OOMが発生する

スパークストリーミングジョブを実行している4ノードのSpark Standaloneクラスタがあります。私はすべてがスムーズに実行エグゼキュータ当たり7つのコアを持つジョブをサブミットすると：私はバッチの実行者なしあたり24個のコアに増加すると spark-submit --class com.test.StreamingJob --supervise --master spark://{SPA

2熱

1答えて

カサンドラコネクタApacheのスパーク：ローカルクラス互換性のない

イムカサンドラ表は、カサンドラスパークコネクタを使用してRDDに参加しよう： samplerdd.joinWithCassandraTable(keyspace, CassandraParams.table) .on(SomeColumns(t.date as a.date, t.key as a.key) これは、スタンドアロンモードで動作しますが、私はクラスタモード