spark-cassandra-connector

1熱

1答えて

Spark 2.1でCassandraテーブルを直接クエリする方法は？スパーク1.6では

、我々はそうのように、カサンドラテーブルに対して直接クエリを実行するcassandraSqlContextを使用することができます：スパーク2.1でそのような機能は cassandraSqlContext.sql("select * from keyspace.tableName") ありますか？私はspark 2.1にはcassandra SQLコンテキストがないことを知っていますが、代わ

0熱

1答えて

spark-cassandra-connectorを使用して複数のcassandraテーブルをスキャンするためにスパークを使用する

sparkを使用してcassandraの複数のテーブルを操作/反復/スキャンする方法の問題があります。私たちのプロジェクトではspark & spark-cassandra-connectorを使用して複数のテーブルをスキャンし、異なるテーブル内の関連する値を一致させ、一致する場合はテーブル挿入などの追加アクションを実行します。ユースケースは、以下のようなものです：スパークRDDはシリアライズない

0熱

1答えて

SparkSQLステージングテーブルの行数vsハイブロー数

Hassop 2.7でSpark 2.1.1を使用して、Cassandraから特定のパーティション化されたHiveテーブルにデータを抽出しようとしています。これを行うために、私は私がrdd.toDF（経由でデータフレームに変換RDD）にカサンドラからすべてのデータを持っているし、次の関数に渡さ：カサンドラに見たとき public def writeToHive(ss: SparkSession,

0熱

1答えて

Iterable <com.datastax.driver.core.Row>をどのようにデータセットに変換できますか？

私はSpark 2.0とScala 2.11.8を使用します。私は選択クエリからCassandra ResultSetを持っており、それをSpark DataFrameまたはDatasetに変換したいと思います。どうやって？私はこのコネクタを使用しようとしてきた： "com.datastax.spark" % "spark-cassandra-connector_2.11" % "2.0.0-

0熱

1答えて

Cassandraの読み込みデータセットがNullPointerExceptionで失敗するのはなぜですか？

私はスパークからカサンドラにリード/ライトをしようとし、これらの依存関係を使用しています： "com.datastax.spark" % "spark-cassandra-connector-unshaded_2.11" % "2.0.0-M3", "com.datastax.cassandra" % "cassandra-driver-core" % "3.0.0" そして、これはコードで

0熱

1答えて

SBT未解決の依存関係2.0.2

build.sbt： val sparkVersion = "2.1.1"; libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion % "provided"; libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion

1熱

1答えて

パーティションホットスポットを持つcassandraデータを読み出すためにsparkを効果的に使用するにはどうすればよいですか？

私が知る限り、sparkは、cassandraから読み込むときに、最大1つのタスクをcassandraパーティションごとに使用します。残念ながら、私は非常にアンバランスな（初期のテーブルデザインが悪い）いくつかのパーティションをcassandraに持っています。そのデータを新しいテーブルに読み込む必要があります。これはホットスポットを処理するために設計されていますが、通常のスパーク・アベニューを使

1熱

1答えて

spark kafka cassandraが動作しない

私のストリーミングアプリがデータをcasに保存しない foreachRDDとstream.printを使用してさまざまな方法で試してみましたが、なぜ機能しないのか分かりません。入力されたデータについてはは、私は、Eclipseに入れkafka-console-producer.sh object letsRun extends App { import org.apache.spark

0熱

1答えて

OracleからCassandraへのデータ検証データ移行

OracleからCassandraへデータをETLプロセスの一部として毎日移行しています。両方のデータベースが同期していることを確認するために、Sparkジョブが完了したら、2つのデータベース間でデータ検証を実行したいと思います。私たちはDSE 5.1を使用しています。データが適切に移行されるように貴重な情報を提供してください。

0熱

1答えて

Spark Cassandraコネクタ更新のみ存在する場合

Spark Cassandra Connectorを使用して、私はEXIFTS IF EXISTSを使用したい場合があります。テーブルに存在しない場合は無視してください。 Cassandra documentationでは、この条件がCassandra 2.0.7以降では、IFまたはIF EXISTSを使用して条件付きで列を更新できます。 IFは、指定された行が存在しない場合は動作が行われないこと