aws-kinesis-firehose

1熱

3答えて

AWS Kinesis FirehoseとStreamsの処理時間に違いはありますか？

両方の製品（FirehoseとStreams）のドキュメントを読むと、Firehoseはリアルタイムで「近く」のように聞こえるため、メッセージを生成するまでに60秒の遅れが生じる可能性がありますが、Streamsのドキュメントでは、ディレイ。メッセージの配信時間に関して、実際の洞察はありますか？ [ノート] リンクFirehose FAQへS3イベントのバッファサイズに基づいて、遅延を言及します

0熱

1答えて

AWS Firehoseバッファリング

S3を出力先として設定されたAWS Firehoseにレコードを書き込むとき、このデータがS3に書き込まれるまでにどれだけの時間がバッファされますか？または、最小サイズのしきい値はありますか？私は私のS3バケットにすぐにこれを見ない { "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY

0熱

1答えて

Kinesisエージェントの入力 - 毎日作成されるログファイル

名前に日付が追加された新しいログファイルが毎日作成されます。たとえば、「data_log-2017-05-14」ログファイルが5月14日に作成されます。生成されたログからデータを読み込むためにKinesis Agentを設定する必要があります。しかし、毎日新しいログファイルが作成されるので、これをagent.jsonファイルでどのように処理するのですか？これに関するご提案はありますか？

0熱

1答えて

AWS Kinesis FirehoseがRedshiftにデータを挿入していません

この質問はスタックオーバーフローで何回か尋ねられましたが、私が読んでいる回答のどれも私が経験していることを解決することはできません。私はMySQLテーブルをKinesis StreamsにコピーするBoto3スクリプトを持っています。もう一方の端には、Kinesisストリームからストリームを読み込んでS3に書き込むためのKCL Node JSスクリプトがあります。ここまでは順調ですね。キネシス

0熱

1答えて

AWSキネシスストリームは、ストリームエラー

を作成して、私はAWSキネシスストリームの完全な初心者ですので、私は http://docs.aws.amazon.com/streams/latest/dev/fundamental-stream.html チュートリアルを次しています。チュートリアルに示されているように私はAWS CLIをインストールし、設定、それから私は（私は窓を使用しています）CMDに怒鳴るのコマンドを入力して、ストリーム

1熱

1答えて

AWS Firehoseデータ変換の並行処理の制限

私は、さまざまなプロデューサから毎秒何千ものレコードを収集し、それらをAWS firehoseを使用した弾性検索にプッシュする必要があります。また、Firehoseにデータ変換ラムダを使用しています。これは、レコードをFirehoseに戻す前に相当量の計算を行います。ファイアホースは、データがバッファリングされて宛先に配信される前に、バッファリングされた各バッチを非同期的に呼び出すことになってい

2熱

1答えて

Google Cloud Pub/SubからGoogle Cloud Storageに毎時バッチ書き込みを行う方法はありますか？

IoTイベントデータをGoogle Cloud Storageに保存したい場合は、データ湖として使用します。しかし、すべてのイベントに対してPUT呼び出しを行うのはコストがかかりすぎるため、ファイルに追加して1時間ごとにPUT呼び出しを行いたいとします。メッセージ処理サービスのノードがダウンした場合にデータを失うことなくこれを行う方法は何ですか？私の処理サービスがメッセージにACKすると、そのメ

2熱

1答えて

AmazonはキネシスのFirehoseにオートフィードを自動シフトできますか？

Amazon Redshiftは、Amazon Kinesis Firehoseに挿入された新しい行をプッシュして、ラムダ関数でデータを変換します。これはできますか？もしそうなら、私は事例と文書を教えてくれますか？

1熱

1答えて

Amazon AuroraからRedshiftにデータを同期

AWSオーロラとRedshiftの間で同期を設定しようとしています。この同期を達成する最良の方法は何ですか？、（私は唯一の挿入をやっているので、更新は重要ではありません、）テーブルの変更を見つけるためにクエリテーブル内のフラットファイルにこれらの変更をエクスポートする - ：同期する可能な方法が可能S3バケットとRedshiftコピーコマンドを使用してRedshiftに挿入します。とB