2016-09-08 18 views
1

Spark SQLContextを使用してテーブルにレコードを挿入したいとします。ここでpostgresとjavaでのスパーク挿入操作

は、サンプル・コードである私は、テーブルに新しいレコードを挿入するにはどうすればよいのデータ

 Class.forName(dbDriver); 

     Map<String, String> options = new HashMap<String, String>(); 
     options.put("url", dbUrl); 
     options.put("dbtable", dbTable); 
     options.put("driver", dbDriver); 

     SparkConf conf = new SparkConf().setAppName("JAVA_SPARK") 
       .setMaster("local[2]").set("spark.ui.port‌​", "7077"); 

     JavaSparkContext jsc = new JavaSparkContext(conf); 

     SQLContext sqlContext = new SQLContext(jsc); 

     DataFrame dframe = sqlContext.read().format("jdbc") 
       .options(options).load(); 

     dframe.show(); 

を取得するために行っていますか? dframe.show()操作がうまく動作しています。

答えて

0

私はスパーク-SQLは、今のような機能を提供していない、あなたがメソッドの独自の実装を行うことができますし、多分

、現在のシナリオのソリューションを実装するforeachのようなアクション内で呼び出すと仮定

詳細については、こちらをご覧ください:Inserting Analytic data from Spark to Postgres

関連する問題