CassandraのSpark2セッション、SQLクエリ

Question

Spark-2.0では、Sparkセッションを作成する最適な方法は何ですか？ Spark-2.0とCassandraの両方でAPIが再加工されたため、本質的にSqlContext（およびCassandraSqlContext）も非推奨になっています。そこでSQLを実行するには、私はCassandraセッション(com.datastax.driver.core.Session) and use execute(" ")を作成します。または、SparkSession (org.apache.spark.sql.SparkSession) and execute sql(String sqlText)メソッドを作成する必要があります。

いずれかのSQLの制限事項はわかりません - 誰かが説明できるかどうか。

また、SparkSessionを作成する必要がある場合はどうすればいいですか？適切な例は見つかりませんでした。 APIがリワークされると、古い例は機能しません。 私はこのコードのサンプルでDataFramesを実行していましたが、ここではどのSQLコンテキストが使用されているのかわかりません（正しいアプローチは進んでいます） （何らかの理由で非難されたAPIはコンパイルされていないため、Eclipse設定を確認する必要があります）

ありがとう

Answer 1

Cassandra DBの作成/削除キースペースとテーブルにはCassandraセッションが必要です。 Sparkアプリケーションでは、Cassandra Sessionを作成するためにSparkConfをCassandraConnectorに渡す必要があります。 Spark 2.0では以下のようにすることができます。あなたがデータフレームを既存しているなら、あなたにもDataFrameFunctions.createCassandraTable(Df)を使用してカサンドラにテーブルを作成することができます

SparkSession spark = SparkSession 
       .builder() 
       .appName("SparkCassandraApp") 
       .config("spark.cassandra.connection.host", "localhost") 
       .config("spark.cassandra.connection.port", "9042") 
       .master("local[2]") 
       .getOrCreate(); 

CassandraConnector connector = CassandraConnector.apply(spark.sparkContext().conf()); 
Session session = connector.openSession(); 
session.execute("CREATE TABLE mykeyspace.mytable(id UUID PRIMARY KEY, username TEXT, email TEXT)"); 

。 APIの詳細hereを参照してください。

下記のようにspark-cassandra-connectorが提供するapiを使用して、Cassandra DBからデータを読み取ることができます。

Dataset<Row> dataset = spark.read().format("org.apache.spark.sql.cassandra") 
      .options(new HashMap<String, String>() { 
       { 
        put("keyspace", "mykeyspace"); 
        put("table", "mytable"); 
       } 
      }).load(); 

dataset.show(); 

あなたは以下のようなスパークカサンドラコネクタによって返されたデータフレームで作成された一時テーブルでクエリを実行するためにSparkSession.sql（）メソッドを使用することができます。

dataset.createOrReplaceTempView("usertable"); 
Dataset<Row> dataset1 = spark.sql("select * from usertable where username = 'Mat'"); 
dataset1.show();