AWS Kinesis Firehoseデータをペイロードでs3に分割

Question

私はAWS-Kinesis-Firehoseを使用してS3にデータを傷付け、その後Athenaで消費します。

Athenaが多くのデータを探索するのを避けるため、異なるゲームのイベントを分析しようとしています。各ゲームの識別子を使用してs3データを分割したいと思いますが、これまでFirehoseは異なるゲーム。

誰でもそれを行う方法を知っていますか？

ありがとう、 Javi。

Answer 1

あなたがメインの消防ホースストリームにトラフィックを送信することができます - そして、複数の消防ホースストリームにデータを分割するためにラムダ関数を使用する - 別のフォルダ/バケット内のデータを保存します各ゲームの1を

Answer 2

あなたができましたおそらくAmazon Kinesis Analyticsを使用して、着信FirehoseストリームをゲームIDなどのロジックに基づいて別々の出力ストリームに分割することができます。

KinesisFirehoseInputを受け入れ、KinesisFirehoseOutputにデータを送信できます。

しかし、limits documentationは、アプリケーションごとに出力先が3つしかないことを示唆しているようです。したがって、これでは十分ではありません。