aws-kinesis-firehose

0熱

2答えて

AWS Kinesis Firehose - インデックスローテーション（エラスティックサーチ）

新しいAWS Kinesis Firehoseストリームを設定しました。毎週新しいインデックスを作成したいと思います。そのためには、ストリームを設定するときにIndex Rotation設定を使用する必要があります。しかし、次週の週末には毎週新しいインデックスを取得する必要がありますか？そうでない場合（うまくいけば）、Firehoseはどのようなマッピングを使用するのですか？ Index設定

5熱

1答えて

1つのFirehose配信ストリームを使用して、複数のRedshiftテーブルにデータを書き込むことができますか。

最後にRedshiftテーブルに保存されるFirehose配信ストリームに、いくつかのjsonデータを渡します。私の使用事例では、データを別のテーブルに格納する必要があります。テーブルごとに異なる配信ストリームを作成しますか？このように作成すると、Firehose配信ストリームを使用してデータをRedshiftにプッシュするために、データがS3を通過する必要があるため、S3でデータの複製が行わ

6熱

1答えて

AWS Kinesis Firehose経由で挿入するときに手動でElasticSearchドキュメントIDを設定する方法はありますか？

私はAWS ElasticSearchクラスタにデータを供給するためのAWS Kinesis Firehose Streamを用意しています.Firehose Streamに送信してドキュメントを挿入すると、ElasticSearchにロードできます。しかしFirehoseストリームに送信する際に、ドキュメントのidの値を手動で指定/設定できるようにしたいと考えています。私はFirehoseにデ

0熱

1答えて

キネシスエージェントからラムダへのオリジンファイルとサーバの入手方法

キネシスのストリームに多くのログファイル情報をストリームするキネシスエージェントがあり、情報を解析するラムダ関数があります。 Lambdaでは文字列に加えて、ソースファイル名を知る必要があります。マシン名は可能ですか？

0熱

1答えて

Kinesis PUT Limit、正確にはどういう意味ですか？

キネシスのストリームでは、"without limits"ではなく、"you should keep in mind"のスケールで "各シャードは1秒あたり1000個のPUTレコードをサポートできます"ということで、1ストリームあたり1秒あたり1000メッセージを超えることはできません。その番号を超えるとメッセージが失われますか？

1熱

1答えて

kinesis firehoseエンドポイントが見つからない

私は、エージェントを介してデータを収集し、それをelasticasearchにプッシュするようにセットアップしました。 pyhonコードを使用して1つのレコードで動作します。しかし、私はKinesis Agentを使ってデータを送信できません。ドキュメンテーションによると、ファイアホースとキネシスのエンドポイントがあるはずです。しかし、利用可能なエンドポイントはありません。私は消防ホースエンドポ

1熱

1答えて

AWSラムダのデータをKinesis Firehoseにプッシュ

私はapiGatewayエンドポイントを持っており、エンドポイントに何らかの投稿要求を送信しています。 apigatewayの統合型はラムダ関数です。私は、ラムダ関数がapilotwayに来るポストデータを聞き、そのデータをkinesis firehoseにプッシュすることを望みます。誰も私がkinesis firehoseに着信データをプッシュするサンプルノードのjsラムダコードを手に入れるこ

5熱

1答えて

SparkでインクリメンタルなS3ファイルを処理する方法

タスクマネージャ - > SQS - >スクレイパーワーカー（私のアプリ） - > AWS Firehose - > S3ファイル - > Spark - >（？）Redshiftのパイプラインを作成しました。私が解決しようとしていますいくつかのものは/改善し、私が指導のために幸せになる：スクレーパーが潜在的に重複データを取得し、スパークでDUPのにつながる消防ホース、再びそれらをフラッシュす