挿入し、これを行うための構成やのparamsがありますしてください1.6

スパーク：コマンドは、Scalaで書かれている挿入し、これを行うための構成やのparamsがありますしてください1.6

dataFrame.write.mode(saveMode).jdbc(url, "tablename", new java.util.Properties())

、Apacheはデータフレームを取る1.6

スパークPostgreSQLに行単位でデータを挿入します。これをバッチモードで行う必要があります。

これを達成するための設定やその他の方法が存在するかどうかは誰でも知っていますか？ link - - ドキュメントによると

事前

出典

2017-07-04 jfrias

に感謝をあなたはバッチ

dataFrame 
    .write 
    .mode(saveMode) 
    .option("batchsize", 1000) 
    .jdbc(url, "tablename", new java.util.Properties())

に挿入を実行するためにbatchsizeパラメータを使用することができます今の挿入は、1000行

出典

2017-07-04 16:52:43

のバッチで施行しますありがとう！私はあなたが提案するこのオプションを使用しましたが、もし私が数（*）を問い合わせると、数千秒（一括挿入）の結果が1000、2000、3000のように表示されます。それはそうではないからです。私はちょうど数分後に0から50.000まで見ています。このオプションは動作していないようです。 – jfrias

このバッチオプションはポストグルで動作しますか？ –

挿入し、これを行うための構成やのparamsがありますしてください1.6

答えて

関連する問題