s3のpg_dumpをredshiftにロード

Question

Redshiftに完全なデータベースダンプをロードしようとしています。 s3にあるpg_dumpからRedshiftにデータを復元するコマンドが1つありますか？そうでない場合、これに取り組むための最善の手順は何ですか？あなたは非圧縮のpg_dumpをお持ちの場合は

おかげ

Answer 1

これはpsqlのコマンドを使用して可能でなければなりません（手動で設定し、あなたのバージョンやオプションに応じて、右の構文を取得するために編集する必要があります）。 しかし、これは赤方偏移を読み込むのに非常に非効率的で遅い方法であり、推奨しません。あなたのテーブルが大きければ数日か数週間かかります！

1. ソース表に基づいて赤方偏移のターゲット表を作成するのではなく、 はソートキーと分布を考慮：

   は何をする必要があると、このです。

2. アンロードします彼らはより速く をロードするように、ソースのcsvファイル（100メガバイトを言うよりも、例えばより）非常に大きいしている場合はpostgres を使用してCSVファイル「コピー」コマンド
3. にPostgresのソース表、 は別々のファイルにこれらを分割を検討赤方偏移が をコピー使用することにより
4. はS3から赤方偏移にテーブルごとに別々のフォルダ
5. 負荷で、S3にデータをこれらのCSVファイルをアップロードする（推奨しますが、必須ではない）
6. は、CSVファイルをgzip（赤方偏移は、並列化されます）コマンド