はS3からファイルを取得し、ここでのJava

Question

を使用してEC2 Linuxインスタンスにそれらを入れて、私は最善の方法であることを確認の考えることはできませんが、別の方法があります。

1. はGetObjectを使用してJavaでのコンソールアプリケーションを作成します。 AWS Java SDKで提供されます。
2. s3 syncを使用してください。
3. SNS>ラムダを使用してください。
4. REST APIを使用してください。
5. SNS> HTTPS (Java Servlet)を使用します。

多くのファイルをLinuxインスタンスにプルダウンする必要があるため、パフォーマンスは重要です。

オプション1の問題は、何らかのポーリング動作が必要であることです。

オプション2を使用すると、定期的にこのコマンドを実行する必要がない場合や、ファイルを永久に同期して実行し続ける場合（b）一度だけ実行する場合、Javaプログラムでどのようにラップするのですか？また、私はJavaとLinuxが初めてです。これが.NetとWindowsの場合は、Windowsサービスを作成しますが、Java/Linuxに相当するものはわかりません。

オプション3はラムダが除外されているため、テーブルにはありません（ロングストーリー）。

これはパフォーマンス、保守性、およびスケーラビリティに関してこれを行う良い方法ですか？監視する必要があるS3バケットの数は、ファイルの頻度/サイズと同じように（増加する）変化します。ただ好奇心

おかげ

Answer 1

- あなたは、Javaおよび/またはLinuxに慣れていないと述べたが、あなたは問題を解決する必要があります。 javaの代わりにPythonを使用するのはオプションですか？私の経験では、外部パッケージの依存関係がJava用のものよりも地面から離れたPythonプロジェクトを入手する方が簡単で迅速です。

あなたと他の人が上記のソリューションのハイブリッド使用することができます：Pythonスクリプトに 2. Pythonスクリプトを呼び出す 1. cronジョブは 3.別のS3の呼び出しのどちらかに下りデータを同期する「S3の同期」を使用しますsync'dファイルを別のバケツ（またはフォルダ）に移動するか、それらのファイルの名前を「処理済み」とマークするようにその場でファイル名を変更してください。

これは良い方法です。私は上記（Pythonで）上記のようなものを試し、あなたのアイデアのプロトタイプにテストバケットまたは2を使用することをお勧めします。数分の速い「ポーリング」スケジュールに固執すれば、数時間以内に回答を得ることができます。 HTH

Answer 2

ラムダ関数を使用して、S3 BucketからSSH経由でEC2にファイルをコピーします。 トリガー：S3オブジェクト作成

は、このリンクをチェックしてください：https://privatedock.wordpress.com/2017/08/21/s3-bucket-ec2-directory-sync-using-lambda/