AWS S3（Apache Camelの使用）でファイルをマージする

Question

私はS3にアップロードされているファイルをいくつか持っていて、Redshiftの一部の処理のために処理しています。そのタスクが完了したら、これらのファイルをマージする必要があります。現在、これらのファイルを削除して、マージしたファイルを再度アップロードしています。 これらは多くの帯域幅を消費します。ファイルをS3に直接マージする方法はありますか？

ルーティング用にApache Camelを使用しています。

Answer 1

S3では、S3ファイルURIをコピー操作のソースとして使用できます。 S3のマルチパートアップロードAPIと組み合わせると、マルチパートアップロードに複数のS3オブジェクトURIのas the sources keysを提供できます。

しかし、悪魔は詳細です。 S3のマルチパートアップロードAPIの最小ファイルサイズは5MBです。したがって、連結している一連のファイル内のファイルが< 5MBの場合、それは失敗します。

しかし、これを回避するには、最終的なアップロードファイルを<（5MB）にすることができます（これは残りの部分をアップロードするときに実世界で行われるため許可されています）。最初の部分は*作品をダウンロードし、5メガバイトがバッファリングされるまで、ディスクへのバッファリング、5メガバイトの下 ある場合

をアップロードするファイルのマニフェストを問い合わせる

1. ：

   マイ生産コードがすることによってこれを行います。

2. ファイル結合が完了するまで順番にファイルを追加します。
3. 非終端ファイルが< 5MBの場合は、追加してからアップロードを完了し、新しいアップロードを作成して続行します。

最後に、S3 APIにバグがあります。 ETag（実際にはS3のMD5ファイルチェックサムは、マルチパートアップロードの完了時に正しく再計算されません）これを修正するには、完了時に罰金をコピーします。連結中に一時ロケーションを使用すると解決されますパート1は10Kで、パート2が5ギガバイトであれば、最終的なコピー操作に。

*あなたがbyte range of a fileをダウンロードすることもできます。この方法で、あなただけ継続するために必要な5メガバイトのサイズを満たし得るために5110Kで読み取る必要があります。

**あなたはまた、S3上のゼロの5メガバイトのブロックを持っているし、作品を始め、あなたのデフォルトとしてそれを使用することができます。その後、アップロードが完了すると、5MB+1 to EOF-1

のバイト範囲を使用してファイルのコピーを行います

P.S.このコードの要点を作る時間があれば、ここにリンクを投稿します。

Answer 2

S3はオブジェクトストレージであり、ブロックストレージではありません。オブジェクトを操作する前にオブジェクトをフェッチする必要があります。

答えは：いいえ。いいえ、S3上のファイルを直接マージすることはできません。

Answer 3

Multipart Upload with Copyを使用すると、S3にダウンロードしてアップロードすることなくオブジェクトをマージすることができます。

Java、.NET、またはREST API hereでいくつかの例が見つかります。