RedshiftからBigQueryにデータを移行する

Question

RedshiftからBigQueryまで〜100個のテーブルに分散した1 TBのデータを移行したいと考えています。

このデータ移行用のツールはありますか？ 'pgloader'（MySQLからPostgreSQLへの移行に使用された）のようなものが利用可能であれば、それは多くの時間を節約できますか？

Answer 1

私はGitHubの上で知っている2つの、オープンソースの選択肢があります：bigshiftは長い時間を回避してきたが

• https://github.com/iconara/bigshift
• https://github.com/uswitch/bqshift

は両方が、かなりよく維持に見えるとより完全なドキュメントを表示しています（今のところ）。

赤方偏移のUNLOADによって生成CSVが何 かかわらあなたはどちらかの端に指定した内容オプションのBigQueryにロードすることはできません。この移行を行う際のツールは非常に便利である理由でドキュメントbigshift引用

。 Redshiftは のフィールドをすべて引用符で囲むこともできますが、BigQueryでは文字列以外のフィールドを引用符で囲まないようにしています（ ）。ブール値とタイムスタンプの形式は互換性がありません。 引用された項目の引用符は異なる方法でエスケープされると期待しており、名前は です。

これは、BigShiftが行うことの多くは、RedShiftからダンプされたデータ がBigQueryと互換性があることを確認することを意味します。これを行うために、 はテーブルスキーマを読み取り、異なるデータ型を変換しますが、 のデータはダンプされます。引用符はエスケープされ、タイムスタンプはフォーマットされているので、 がオンになります。