ハイブテーブルをGoogle BigQueryに移行する

Question

ハイブテーブルをBigQueryに移行するためのデータパイプラインを設計しようとしています。 Hiveは、前提クラスター上のHadoopで実行されています。各テーブルsource_hive_table {

• INSERT上書きテーブルtarget_avro_hive_tableSELECT * FROM source_hive_table;
• 移動グーグルへの結果のアブロファイル用

  ：これはそれだけでシェルスクリプトで、私の現在の設計は、実際に、それは非常に簡単ですdistcp

• を使用してクラウドストレージは、最初BQテーブルを作成します。bq load --source_format=AVRO your_dataset.something something.avro
• はこれだけ書かれたテーブルから選択し、手動で取り扱い、BigQueryの自体から任意の鋳造の問題を扱いますY鋳造

}

は、あなたはそれが理にかなっていると思いますか？ Sparkを使って、もっと良い方法がありますか？ キャストの処理方法が不安です。BigQueryテーブルを2回作成することは避けてください。

Answer 1

はい、移行ロジックは意味があります。

Avro（Hive）データを生成する最初の "Hiveクエリ"に特定のタイプのCASTを直接行うことを個人的に好みます。例えば、「decimal」型はHiveのAvro型にマップされています。「型」「バイト」「論理型」「小数」「精度」：10「スケール」：2

そして、BQはlogicalTypeの代わりにプライマリタイプ（ここでは "bytes"）を取るだけです。 これは、ハイブで直接キャストする方が簡単であることを示しています（ここでは「ダブル」にします）。 日付ハイブタイプにも同じ問題が発生します。