2017-08-30 6 views
0

私は、ハイブの日付カラムにパーティションテーブルを持っており、ハイブパーティションテーブルにデータを初めてインポートすることができます。 これを実行すると、すべての日付フォルダが正しく作成され、ハイブテーブルのhdfsロケーションの各フォルダにデータがロードされました。 今度はインポートして新しいデータを同じハイブテーブルに追加し、新しい更新日付(hdfsハイブの場所に新しい日付パーティションフォルダを作成する)を追加して、テーブルに新しいデータをロードしたいとき。 sqoopインポート操作を使ってこれを実行するには?同じ分割された列に新しい分割フォルダを作成する分割されたハイブテーブルに、新しいデータを追加してインポートする方法はありますか?以下は私のシナリオです

答えて

0

データをより管理しやすい方法でモデル化します。私の知識では、パーティションの更新をサポートしていないため、回避策があるかもしれませんが、扱いにくいかもしれません。したがって、パーティションキーとして変更されないフィールドを使用してください。最初にsqoopのインポートに静的パーティションを使用していますか?あなたがhcatelogを使用しない限り、sqoopインポートはusnig静的パーティショニングのインポートをサポートしています。 あなたが他の解決策を持っていれば、私も同様の状況があり、上記のように解決しました。

関連する問題