spark-cassandra-connector

0熱

1答えて

誰かが概念的なものを明確にできることを望んでいましたが、私は答えを見回しましたが、このことはまだ完全にわかりません。私は、cassandra .yaml設定ファイルのデータディレクトリとして設定されている/ cassandraにマウントされた外部ディスクにアクセスできる16コアマシンで実行しています。私はレプリケーションファクタ3のKEYSPACEを作成します。私の質問は、パフォーマンスの観点

-1熱

1答えて

Spark Cassandra書き込みパフォーマンス

spark経由でcassandraに約200万レコードを読み込もうとしています。 Sparkには4人のエグゼキュータがあり、cassandraにはクラスタ内に4つのノードがあります。しかし、すべてのデータをcassandraに保存するには約20分かかります。誰もがこのことをもっと速くするために私を助けてくれますか？

0熱

1答えて

ローカルのspark-cassandraコネクタがSparkクラスタを表示します

私はsparkとcassandraの新機能です。私は、データストアで提供されているspark-cassandra-connectorを使用して、新しい行をcassandraテーブルに追加しようとしている単純なjavaプログラムを試しています。私はラップトップコンピュータでdseを実行しています。 Javaを使用して、私はスパークを介してデータをcassandra DBに保存しようとしています。さ

4熱

1答えて

Spark + Cassandra on EMR LinkageError

私はSpark 1.6をEMR 4.4.0に配備しました私はdatastax cassandra 2.2.5に接続しています。 spark-connector 1.4.2_s2.10を使用してデータをcassandraに保存するように動作します（guava 14なので）。しかし、canandraからのデータの読み込みは1.4.2バージョンのコネクタでは失敗します。右の組み合わせは1.5.xを使

1熱

1答えて

CassandraでSparkジョブアボートの根本原因を見つける方法（ClassCastException - ShuffleMapTask to Task）？

私はSparkを使ってCassandraからデータを読み込もうとしています。 DataFrame rdf = sqlContext.read().option("keyspace", "readypulse") .option("table", "ig_posts") .format("org.apache.spark.sql.cassandra").load();

0熱

1答えて

SparkSQLを使用してcassandraの2つのテーブルを結合する - エラー：EOFがありません

私のマシンにCassandraとSparkをインストールしました。スパークSQLのサポートは、キーワード https://docs.datastax.com/en/datastax_enterprise/4.6/datastax_enterprise/spark/sparkSqlSupportedSyntax.html Supported syntax of Spark SQL The foll

0熱

1答えて

1人のSparkワーカーでCassandraパーティションのすべての行を読み取ることはできますか？

私はreduceByKeyステップの数を最小限に抑えて、より少ないステージで実行するようにZipkin Dependencies Spark jobを最適化しようとしています。データは以下の表から読み込まれます：あり CREATE TABLE IF NOT EXISTS zipkin.traces ( trace_id bigint, ts timestamp, sp

0熱

1答えて

スパークとカサンドラ、キークラスタリングに範囲クエリは

私は次の構造を持つカサンドラテーブルを持っている： TABLEテーブルを作成します（キーはint、タイムスタンプ、対策フロート、主キー（キー、時間））; 私は、タイムスタンプが戻ってカサンドラに何らかの処理、およびフラッシュ結果を行う指定された開始と終了の範囲内、前のテーブルからデータを読み込みますスパークジョブを作成する必要があります。私のspark-cassandraコネクタは、ク

1熱

1答えて

カサンドラ <p></p>アマゾンEMRで、私は今、私は火花カサンドラ・コネクタを使用してデータを挿入しようとしている、周りの500+万レコード（6節で）とカサンドラのテーブルを持っているスパーク

を使用して非常に遅いもパフォーマンスを与えて書き表構造 CREATE TABLE dmp.dmp_user_profiles_latest ( pid text PRIMARY KEY, xnid int, day_count map<text, int>, first_seen map<text, timestamp>, last_see

0熱

1答えて

[Cassandra]スパークジョブでcassandra sqlの行キーレベルでフィルターを適用するとCPU使用量が過剰になる

私のスパークジョブでは、Java cassandra utilを使用してcassandraからデータを読み取ります。私のクエリは次のようになっています： JavaRDD<CassandraRow> cassandraRDD = functions.cassandraTable("keyspace","column_family"). select("timeline_id","shopper_i