Apache FlinkでDynamoDBストリームを使用する

Question

Apache Flinkで誰かがDynamoDBストリームを消費しようとしましたか？

Flinkにはキネシス消費者があります。しかし、私はDynamoストリームを直接消費する方法を探しています。

DataStream<String> kinesis = env.addSource(new FlinkKinesisConsumer<>(
    "kinesis_stream_name", new SimpleStringSchema(), consumerConfig)); 

多くの検索を試みましたが、何も見つかりませんでした。しかし、Flink Jiraボードの保留中のオープンリクエストが見つかりました。だから私はこのオプションがまだ利用できないと思いますか？どのような選択肢がありますか？

Allow FlinkKinesisConsumer to adapt for AWS DynamoDB Streams

Answer 1

UPDATED ANSWER

キネシスからデータを読み取ることができますが、それはDynamoDBのからデータを読み取ることができませんので、ApacheのFLINKは、DynamoDBのストリームコネクタadapterを使用していないようです。

私は、DynamoDBストリームからKinesisにデータを書き込んだり、Apache FlinkのKinesisからデータを読み込んで処理したりするアプリケーションを実装できると思います。

もう1つの方法として、Apache FlinkのカスタムDynamoDBコネクタを実装する方法があります。 existing connectorを出発点として使用できます。

Apache Spark Kinesis connectorもご覧ください。しかしそれにも同じ問題があるようです。

ORIGINAL ANSWER

DynamoDBのは、あなたがKinesis Client Libraryを使用してDynamoDBの更新の流れを消費することができキネシスアダプタを持っています。 Kinesisアダプタを使用することは、DynamoDBからの更新を消費する（AWSによる）推奨方法です。これにより、DynamoDBストリームを直接使用するデータ（DynamoDB低レベルAPIとも呼ばれます）と同じデータが得られます。