spark-cassandra-connector

2熱

1答えて

私はスパークジョブをスタンドアロンのシングルノードクラスタに送信するmaven scalaアプリケーションを持っています。ジョブが送信されると、Sparkアプリケーションは、spark-cassandra-connectorを使用してAmazon EC2インスタンスでホストされているcassandraにアクセスしようとします。接続は確立されますが、結果は返されません。しばらくすると、コネクターが切

0熱

1答えて

spark-cassandra-connectorどのように読み込み作業

私はこのコネクタについて質問があります。 SparkクラスタとCassandraクラスタが同じクラスタにない場合、READはどのように機能しますか？ SparkはCassandraテーブル全体を独自のクラスタに持ち込み、Sparkパーティションに再配置しますか？

1熱

1答えて

cassandraコネクタのsparkジョブ実行中にエラーが発生しました - 原因：java.io.IOException：test.eventsに文を書き込めませんでした

のジョブをeclipseで使用してCassandraにデータを挿入しようとしています。私はサンプルコードを実行することができますが、複雑なテーブルデザインの問題に直面しています。この問題の解決方法をお手伝いできますか？ Caused by: java.io.IOException: Failed to write statements to test.events. at com.da

1熱

2答えて

Cassandraにデータを挿入するためのスパークジョブ

Spark on Scalaを使用してCassandraテーブルにデータを書き込もうとしています。スパークタスクが間に失敗し、部分的な書き込みがあることがあります。 Sparkは新しいタスクが最初から開始されたときに部分書き込みをロールバックしますか？

0熱

2答えて

スパーク：Cassandraからのデータを継続的に読み込む

Reading from Cassandra using Spark Streamingとtutorial-1とtutorial-2のリンクを通過しました。カッサンドラとスパークの統合は現在、カッサンドラからのアップデートを継続的に入手し、HDFSのような他のシステムに流すために何も提供していません。連続して、Sparkによって最後にフェッチされてから変更（挿入または更新）されたテーブル内の行

1熱

1答えて

十分でない整合性LOCAL_ONEでクエリに使用可能なレプリカ（1が必要なだけで0生きている）

私は火花カサンドラ・コネクタを実行していると奇妙な問題を打っています：私はの火花シェルを実行します。 bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.1 それから私は、次のコマンドを実行します。 rdd.take(1).foreach(println) # CassandraRow{id:

0熱

1答えて

スパークセッションsparklyrとRを使用してCassandraテーブルを読み込めません

私はSpark 2.1.0を使用しており、Cassandraクラスタに接続しようとしています。私は最新のスパークリヤを使用しました。私はデフォルト以下のようにデフォルト設定を設定しています # local-only configuration sparklyr.cores.local: !expr parallel::detectCores() spark.sql.shuff

0熱

1答えて

スパーク2.0：Scalaの/コレクション/ GenTraversableOnce $クラス

は（datastax）カサンドラ2.1.13と互換性のある2.0を刺激していますか？ローカルmacにspark 2.1.0をインストールし、scala 2.11.xもインストールしました。私は、スパークシェル上で次のコード spark-shell import org.apache.spark.sql.SparkSession import org.apache.spark.sql.i

0熱

1答えて

Sparkの巨大なデータフレームでの効率的なフィルタリング

私は5億の行を持つCassandraテーブルを持っています。私はスパークを使用してカサンドラのパーティションキーであるフィールドに基づいてフィルタを適用したいと思います。非常に大きいリストキーに基づいて、Spark/Spark SQLでフィルタリングする可能な限り最良の方法を提案できますか。基本的には、キーのリストにあるCassandraテーブルの行だけが必要です。私たちはDSEとその機能を

-1熱

1答えて

Cassandra pythonの設定でスパークする

私はCassandraのテーブルで簡単な計算をするためにsparkを使用しようとしていますが、かなり失われています。私は従うことをしようとしています： ./bin/pyspark \ --packages com.datastax.spark:spark-cassandra-connector_2.11:2.0.0-M3 でしかし、私は、ここから物事を設定する方法を確認していない：