複数のWindowsデバイスからCSVデータを送信する必要があるユースケースがあります。 目標使用時間があります。 80時間を一括して完了しなければならない。各PCはキネシスストリームを使用して送信され、EMRを使用してクラウドではカバレッジを更新します。Amazon WebサービスKinesis、EMR、S3 on cloud
PC1〜10時間、PC2〜20時間、PC3〜5時間、PC4〜5時間。これで、クラウドは80-（10 + 20 + 5 + 5）/ 4 = 10を各PCに送信します。今は10時間しかカバーしていません。 データがストリーミングされます。しかしS3でデータを保存し、処理してEMRに送り返す必要があります。
AWS sdk .netを使用してデータを送信しています。私は、データがキネシスに流れたら、雲の中で何をすべきかを踏まえて、必要なステップを立てる必要があります。
あなたのユースケースごとのように2つのアプローチがあります。
1）EMRあなたは、キネシスからデータを消費する火花ストリーミングプログラムを書き、それを超える工程と、その後ダンプすることができますベースまたはクラスタ
をベースにその結果をNoSQLまたはAmazon S3に送信します。その間にKinesisS3Emitterを使用してRawデータをバックアップすることもできます。あなたの結果を処理した後、あなたのPCとあなたのPCが加入しているSNSのトピックに送信することができ、処理された出力
2を取得します）サーバレス
代わりキネシスストリームを作成するのではなく、あなたが消火ホースのストリームを作成することができます生データをS3ロケーションに配信します。次に、それらのS3ファイルを処理し、その結果を別のS3 LocationまたはNoSQLにリダイレクトするようにLambda関数を設定することができます。上記と同じように、あなたのPCが購読するSNSの話題を送ることができます。
これは2つのアプローチです（修正は歓迎されます）。あなたの要求によってを使用し、システムのセキュリティを維持するには、計算速度、コスト、およびリソースを計算する必要があります。例：SNSトピックの代わりに、N台のPCなどでN個のSNSトピックが必要になる場合があります。
以下のコメントを参考にして、何が最善であるかを知らせてください。おかげで
私のために働いたアプローチについてコメントします。私はそれらを試してみます。 – sidnandan
こんにちは@シドナンダン、あなたの雲のデザインを詳しく教えてくださいできますか？あなたが混乱しているところ。ありがとう –
こんにちは@ Murtaza、我々はまだ完全なアーキテクチャを設計していない。私はキネシスのストリームにデータを送ることができます。データはストリームから読み込まれ、S3に格納され、EMRで処理される必要があります。ここで私はストリームとデータを読み込むためにクラウド上で実行する手順を混乱させています。また、更新されたデータをPCに戻す方法もあります。 – sidnandan
あなたはKinesisからEMRに関するいくつかの集約を適用し、集計結果や生データを保存しますか？ S3へ。そして、この処理されたデータをWindowsの電話クライアントに送り返す必要があります。 –