2016-11-11 21 views
0

私は、Pythonでデータを操作するためにパンダを使用します。Java ResultSetをSpark DataFrameに変換する

私はSparkのDataFrameを使い、Javaで開発しているプログラムにこの構造を使用したいと考えました。

私はSQL Serverで自分のデータを持っていますが、私はResultSetのSQL結果を持っています。これを変換するにはDataFrame

どうすればこの変換を行うことができますか? SQLの結果を直接DataFrameに変換する簡単な方法はありますか?


編集:私は今、私はException in thread "main" java.lang.RuntimeException: Option 'dbtable' not specifiedどのように/どこ私はテーブルを指定することができます取得しています詳細

public static SparkSession spark = SparkSession 
     .builder() 
      .master("local[*]") 
     .appName("Java Spark SQL basic example") 
     .getOrCreate(); 

    Map<String, String> options = new HashMap<String, String>(); 
    options.put("url", "jdbc:jtds:sqlserver://<clipped>"); 
    spark.read().format("jdbc").options(options).load(); 

    Dataset<Row> sqlDF = spark.sql("SELECT TOP 1 * FROM HEDE); 

の下SparkSession経由のSQL Serverに接続しようとしましたか?

options.put("dbtable", "some_table"); 

をまたはJDBCメソッドを使用して::

答えて

0

あなたはオプションでテーブルを指定することができpropertiesjava.util.Properties

spark.read().jdbc("jdbc:jtds:sqlserver://<clipped>", "some_table", properties) 

です。

関連する問題