spark-cassandra-connector

-1熱

1答えて

java.lang.ClassNotFoundException：com.datastax.spark.connector.japi.rdd.CassandraTableScanJavaRDD

私はcassandraと一緒にKafka Spark Streamingを使用しています。 Eclipseを使用してJavaクラスを実行しているときは正常に動作しますが、mavenを使用してビルドしてSpark Shellで実行すると、前述の例外がスローされます。 java.lang.NoClassDefFoundError: com/datastax/spark/connector/japi/r

0熱

1答えて

Spark parquet s3エラー：AmazonS3Exception：ステータスコード：403、AWSサービス：Amazon S3、AWSリクエストID：xxxxx、AWSエラーコード：null

AWS S3に存在する寄木細工ファイルを読み込もうとしています。エラー。 17/12/19 11:27:40 DEBUG DAGScheduler: ShuffleMapTask finished on 0 17/12/19 11:27:40 DEBUG DAGScheduler: submitStage(ResultStage 2) 17/12/19 11:27:40 DEBUG DAGSc

0熱

2答えて

スパークが内部的にCassandraへの一括書き込みを使用する理由

私はスパークするのが初めてです。なぜ、バッチがすべての使用例で効率的でない場合、Cassandraにバッチで書き込むのはなぜですか（例：savetocassandra操作）。実際にキャサンドラサイドやスパークサイドから気を取り除いてください。スパークカサンドラの特性を最適化した上で、キャサンドラから読んで、キャサンドラに返信するスパークの仕事をしているとき。バッチ処理された書き込みまたは未書き込

0熱

1答えて

CassandraはtableauにJSON配列解析を保存しました

私はtableauを使用しており、Apache Cassandraに格納されているJSON配列を解析する必要があります。私は、hereと記述されているようにスパークを通じてCassandraと接続することができました。 jsonpathを使用してJSONオブジェクトを解析することに成功しましたが、JSON配列を解析するソリューションはありません。私のデータのサンプル構造を参照してください [{

0熱

1答えて

Cassandra Datastax Java Driverを使用してCassandraノードのいずれかに接続できません

Cassandra datastaxドライバはデータセンター内のいずれかのノードに接続できませんが、依然としてデータベースに読み書きできます。データセンターには、1つのラックに2つのノードがあります。私はシードノードとしてそれらの1つを指定しました。各ノードの Connected to cluster: Test Cluster Datacenter: datacenter1; Host: /P

0熱

1答えて

カッサンドラ新しいノードが状態で見ることができない

こんにちは私はcassandraに新しいノードを追加しました。私は新しいノードでcassandra.yamlファイルに同じ変更を加えましたが、以下では両方のノードでcassandra-rackdc.propertiesの詳細を示しています。 dc = DC1 rack = RAC1 どのノードからでも、別のノードは表示されません。旧既存のノード [[email protected] apache

1熱

1答えて

原因：java.lang.NoSuchMethodError：com.datastax.driver.core.TypeCodec.getJavaType（）Lcom/google/common/reflect/TypeToken;

私は今までのすべての最新バージョンである以下の依存関係を使用してアプリケーションを作成しています。 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.0.M5</version

0熱

1答えて

Spark WorkerさんがCassandraPartitionクラスを見つけられませんでした

私はマスターと3人の作業員を持つスパークスタンドアロンクラスターに取り組んでいます。私のドライバも同じネットワーク上にあるので、基本的にすべてのワーカーとマスターがドライバと通信することができ、その逆もあります。私はsparksession（Javaプログラム）を取得してドライバからジョブを実行しようとしています。プログラムに追加されたMavenの依存関係は、spark-core_2.11（v