Google Cloud PlatformのKafka/AWS Kinesisストリームに相当します

Question

多くの読者がこのバッファから独立して消費している間に、常にバッファに追加されているアプリを構築しています（追記一読/ WORM）。最初はApache Kafkaを使用することを考えましたが、サービスとしてのオプションを好む私はAWS Kinesis Streams + KCLを調査し始めました。

基本的には、順序付け（イベントはすべての読者が同じ順序で読まなければなりません）と、読者が先に消費し始めるバッファのオフセットを選択する機能が必要です。

Google Cloud Platformも評価しています。私はドキュメントを読んでいるとして、Googleのパブ/サブをAWSキネシスストリームに相当するものとして提案されているようですが、より詳細なレベルでは、これらの製品は、異なる多くのことを思え：シャード内で注文

• キネシス保証、しばらくオンパブ/サブオーダリングはベストエフォート型です。
• キネシスには読者が利用できるすべてのバッファ（最大7日まで）があり、オフセットを使用して開始読書位置を選択することができ、PubSubではサブスクリプション後のメッセージのみが消費可能です。

PubSubが正しいと判断した場合、PubSubはKinesis相当品とはみなされません。おそらく、Google Dataflowと一緒に使用される場合ですか？私はまだどのように見ることができないことを告白する必要があります。

したがって、PubSubはKinesisの代替品ですか？そうでない場合、要件を満たすGoogle Cloud製品はありますか？

ありがとうございます！

Answer 1

むしろ複雑な解決策が、それは役立つかもしれない：

は、単一のトピックにパブリッシュ/サブスクライブを使用して、イベントをプッシュ
• 。この時点で、彼らは順序付けられていません。
• pub/subトピックから読み取るクラウドデータフローストリーミングパイプラインを作成します。クラウドbigqueryへのストリーミング書き込みを行い、各テーブルエントリにタイムスタンプを追加します。
• 読者はbqテーブルに対してクエリを実行し、タイムスタンプで順序を揃えるようにしてください。 ROW_NUMBERをオフセットとして使用できます。

希望するものがあります。