spark-cassandra-connector

0熱

1答えて

Apache Sparkの新機能です。私はApache Cassandraデータベースからデータを取得してJavaRDDを作成するプログラムを作成しています。次に、ドライバプログラムの一部ではないヘルパーメソッドを呼び出すことによって、RDDの各要素を処理します。特定の条件に基づくヘルパーメソッドでは、電子メール通知を送信したいと考えています。しかしその前に、そのユーザーに既に送信された通知の数

3熱

2答えて

Spark-cassandra-connector：toArrayが機能しません

私はScalaでspark-cassandra-connectorを使用していますが、cassandraからデータを読み込み、toArrayメソッドで表示します。しかし、クラスのメンバーではありませんが、APIに示されているというエラーメッセージが表示されます。誰かが私のエラーを見つけるのを手伝ってくれましたか？ここでが私のファイルです： build.sbt： name := "Simple_

0熱

3答えて

カサンドラ・テーブル・墓石私はカサンドラとの問題を抱えて0

ではありません。：私はnodetool -h 10.169.20.8 cfstats name.name -H をすれば、私は結果や統計情報を取得するには、このようなものです Read Count: 0 Read Latency: NaN ms. Write Count: 739812 Write Latency: 0.038670616318740435 ms.

0熱

1答えて

DataStax Spark CassandraコネクタはどのようにSparkContextを作成しますか？

次のSparkテストプログラムを正常に実行しました。このプログラムでは、SparkContextクラスの "cassandraTable"メソッドと "getOrCreate"メソッドに注目しています。しかし、私はこのクラスのSpark Scala APIドキュメントで見つけることができません。このコードの理解に欠けているものは何ですか？私はDatastax Connectorがsbtにあるとき、

0熱

3答えて

スカラーの配列から角括弧[]を削除します

大括弧で囲まれた日付があります[2014-11-08 06：27：00.0]、削除します。の予想される出力は、2014年11月8日06：27：00.0 val conf = new SparkConf(true) .set("spark.cassandra.connection.host", "127.0.0.1").setAppName("CasteDate").setMaster(

0熱

2答えて

カッサンドラ主キーを持たない可能性のあるキー範囲をクラスタリングする

申し訳ありませんが、タイトルには意図した内容が正確に記述されていない可能性があります。ここに問題があります。私は日付範囲に基づいてデータを選択する必要があり、ほとんどのクエリはクエリで使用される 'id'フィールドを持っています。私はidを主キーとして、日付をクラスタリングキーとして作成しました。基本的に以下のようになります（私は実際の詳細を与えることができないので、私は偽/サンプル文を使用

3熱

2答えて

SparkのCassandraクエリでjava.time.LocalDateを使用するには？

カザンドラにdateのstart_timeという列の表があります。私たちは、次のコードを実行すると：私はdocumentationに応じてカスタム・コンバータを登録しようとした com.datastax.spark.connector.types.TypeConversionException: Cannot convert object 2016-10-13 of type class jav

2熱

2答えて

Datastax spark cassadraコネクタ - DFをcassandraテーブルに書き込む

最近、Scala、Spark、Cassandraを使用して大きなデータプロジェクトを開始しました。私は単純なタスクを書いて、カサンドラテーブルから読み込もうとしています。プロパティ名とカラム名を小文字かスネーク（unserscores）のいずれかにしておくと、これを実現できますが、私はスカラコードでラクダケースを使いたいと思います。 Scalaでキャメルケースフォーマットを使用し、cassandr