私は現在Amazon Redshiftを使用して、毎日Amazon S3のバケットにプッシュされたタブ区切りファイルの50〜100GB(つまり、何百万行も)の集計データを格納しています。Amazon S3タブのC#で区切られたファイルから直接Amazon Aurora RDSに一括挿入する方法はありますか?
Redshiftを使用すると、データを大量に読み込むS3バケットに直接ターゲティングできるcopy
コマンドを提供することができます。
この同じ目的でAmazon Aurora RDSを使用したいと考えています。オーロラに関する文書は、今のところ最高ですが、薄いです。 S3からAuroraに直接バルクロードする方法はありますか?
MySqlのLOAD DATA INFILE
には、ディスク上のファイルへのパスが必要です。これは、tsvをAWSインスタンスにダウンロードしてそこからコマンドを実行することで回避できますが、理想的ではありません。
また、tsvをメモリに読み込み、複数のinsert
文を作成しようとしました。これは明らかに遅くて厄介です。
アイデア?
UPDATE 2016分の11:オーロラバージョンのよう
1.8あなたは今、バルクロードS3のデータに次のコマンドを使用することができます。
LOAD DATA FROM S3
または
LOAD XML FROM S3