スパークがハイブに書き込まない

私はハイブのパーティションテーブルに完全に書き込みを行っていたSparkアプリケーションを持っています。私はHiveで永続化していたDataframeに2つの新しい列を追加し、Hiveへの書き込みをやめ、静かに行を挿入しませんでした。スパークがハイブに書き込まない

私にはDF3 = DF1.join(DF2, where(...), "inner")があります。私はDF3を維持しています。結合のログ出力が表示され、エラーログは表示されません。

DF3では、DF1とDF2のすべての列が自動的に表示されますか？
私はHiveスキーマのDF2から2つの新しい列を追加し、コードとHiveスキーマの間で順序が維持されます（つまり、両方の場所で最後の列の直後）。なぜハイブに書いていないのでしょうか？

出典

2017-02-23 Mark

のいずれかを使用してハイブメタデータをリフレッシュしてみあなたのデータフレームとあなたのハイブのテーブルを記述し、それらを比較することがありますか？ – Andrew

はい、うまく見えます。この結合は正しいですか？ここにぶら下がっているようです：DataFrame DFJoin = DF1.join（DF2、DF1.col（ "device"）。equalTo（DF2.col（ "id"））。または（DF1.col（ "device"）。equalTo DF2.col（ "new_id"））））、 "inner"）; – Mark

は、以下の

MSCK REPAIR TABLE 
REFRESH [db_name.]table_name 
INVALIDATE METADATA [table_name]

出典

2017-12-23 06:42:29

スパークがハイブに書き込まない

答えて

関連する問題