0
私は、Pythonでデータを操作するためにパンダを使用します。Java ResultSetをSpark DataFrameに変換する
私はSparkのDataFrameを使い、Javaで開発しているプログラムにこの構造を使用したいと考えました。
私はSQL Serverで自分のデータを持っていますが、私はResultSetのSQL結果を持っています。これを変換するにはDataFrame
どうすればこの変換を行うことができますか? SQLの結果を直接DataFrameに変換する簡単な方法はありますか?
編集:私は今、私はException in thread "main" java.lang.RuntimeException: Option 'dbtable' not specified
どのように/どこ私はテーブルを指定することができます取得しています詳細
public static SparkSession spark = SparkSession
.builder()
.master("local[*]")
.appName("Java Spark SQL basic example")
.getOrCreate();
Map<String, String> options = new HashMap<String, String>();
options.put("url", "jdbc:jtds:sqlserver://<clipped>");
spark.read().format("jdbc").options(options).load();
Dataset<Row> sqlDF = spark.sql("SELECT TOP 1 * FROM HEDE);
の下SparkSession経由のSQL Serverに接続しようとしましたか?
options.put("dbtable", "some_table");
をまたはJDBCメソッドを使用して::