2017-11-06 4 views
0

私はスケーラプログラミングを始めるのにとても新しいです。私が間違った方向に向いている場合、正しい方向で私を指差してください。データフレームを使用したマージの実装(Scala/Spark)

私はMERGEをネイティブにサポートしていないscala/sparkでマージを実装しようとしています。私のターゲットデータベースはHIVEです。

スパークバージョン:何部材の一方で尋ねたよう:2.xの

誰もがこのようなソリューション事前に思考プロセスを共有してください

おかげ

アップデートを実施している場合私は合併を意味する

テーブル:emp(ターゲット) emp_id(プライマリキー)emp_id(プライマリキー)emp_name給与
100ボブ1000年
200ケリー2000
300ロン1200

表:emp_ext(我々はデータをロードする場所からソーステーブル)
EMP_ID(プライマリキー)EMP_NAME給与 100ボブ1100(行が変更)
200ケリー2000(変更なし)
300ロン1200(変更なし)表EMPの

最終状態
========================
EMP_ID(プライマリキー)EMP_NAME給与
100ボブ1100
200ケリー2000
300ロン1200

+1

マージはどういう意味ですか? – Achyuth

+0

私はあなたが 'join'か' union'を探していると思います。 – Shaido

答えて

0

はたぶん、あなたはハイブ表とDFのマージについて this

そのような何かをしたいです。

関連する問題