2015-09-17 1 views
6

私は現在Amazon Redshiftを使用して、毎日Amazon S3のバケットにプッシュされたタブ区切りファイルの50〜100GB(つまり、何百万行も)の集計データを格納しています。Amazon S3タブのC#で区切られたファイルから直接Amazon Aurora RDSに一括挿入する方法はありますか?

Redshiftを使用すると、データを大量に読み込むS3バケットに直接ターゲティングできるcopyコマンドを提供することができます。

この同じ目的でAmazon Aurora RDSを使用したいと考えています。オーロラに関する文書は、今のところ最高ですが、薄いです。 S3からAuroraに直接バルクロードする方法はありますか?

MySqlのLOAD DATA INFILEには、ディスク上のファイルへのパスが必要です。これは、tsvをAWSインスタンスにダウンロードしてそこからコマンドを実行することで回避できますが、理想的ではありません。

また、tsvをメモリに読み込み、複数のinsert文を作成しようとしました。これは明らかに遅くて厄介です。

アイデア?

UPDATE 2016分の11:オーロラバージョンのよう

1.8あなたは今、バルクロードS3のデータに次のコマンドを使用することができます。

LOAD DATA FROM S3

または

LOAD XML FROM S3

Aurora Load From S3

答えて

関連する問題