Scala SparkとCassandraに接続するコード

Question

私は自分のラップトップでscala（IntelliJ）を実行しています。私はSparkとCassandraをMachine A、B、C（DataStaxを使用して3ノードのクラスタ、Analyticsモードで稼動）で動作させています。 私はCluster上でScalaプログラムを実行しようとしましたが、うまく動作しています。 ノートパソコンでIntelliJを使用してコードを作成して実行する必要があります。どのように接続して実行しますか。私はコードで間違いをしていることを知っています。私は一般的な言葉を使った。私は特定のコードを書くのを手伝う必要がありますか？例：Localhostが正しくありません。

import org.apache.spark.{SparkContext, SparkConf} 

    object HelloWorld { 
    def main(args: Array[String]) { 

    val conf = new SparkConf(true).set("spark:master", "localhost") 
    val sc = new SparkContext(conf) 
    val data = sc.cassandraTable("my_keyspace", "my_table") 

    } 

} 

Answer 1

val conf = new SparkConf().setAppName("APP_NAME") 
    .setMaster("local") 
    .set("spark.cassandra.connection.host", "localhost") 
    .set("spark.cassandra.auth.username", "") 
    .set("spark.cassandra.auth.password", "") 

ローカルスパークとカサンドラに接続するためのコードの上に使用します。あなたのcassandraクラスタに認証が有効になっている場合は、ユーザー名とパスワードを使用します。リモート火花やカサンドラクラスタに接続したい場合には

その後、カサンドラのホストとし、setMaster使用spark:\\SPARK_HOST

ではlocalhostを置き換えます