bigqueryからpostgresqlへのダンプデータ

Question

私はGoogle bigqueryの3GB 4-5テーブルについて、私はPostgresにこれらのテーブルをエクスポートしたいと思います。私は次の手順を実行する必要があることがわかったドキュメントを読む。

1. googleバケットでCSVにデータを抽出するジョブを作成します。
2. Googleストレージからローカルストレージに。

データベースから

パース全てのCSVしたがって、上記の手順ですべてこれを行うには任意の効率的な方法があります。私はステップ1と2が効率のチャンスをスキップできないことを知っていますが、ステップ3ではオンラインで読むことから、このプロセスを行うのに2〜3時間かかることがわかりました。

は、誰も私にこの

Answer 1

は、サンプルプロジェクトを作成し、あなたはそれを最適化するには早すぎるのです当時を受け入れることができれば、あなたは何を得る回見行うための効率的な方法を提案することができます。 SSDで1Gビットのインターネットアクセスとサーバーを実行している場合、これはすべて約3-5分で可能です。