私のチームと私は、JavaスタンドアロンのコンシューマとKCLを使用して他のチームに追跡情報を提供するAmazonのKinesisサービスに基づいたストリーミングシステムを持っています。このシステムをGoogle Cloud Platformに移行することを決定しました。AWS Kinesisからの移行
GoogleプラットフォームのAmazon Kinesisの自然な置き換えは、Google Cloud Dataflowサービスであることを理解しています。そうですか？
私たちはKinesisのパーティションキーとしてuser-idを使用しているので、その他の懸念事項はデータパーティションです。 Google Dataflowで同じパーティションを実行するのは可能でしょうか？
もちろん、AWSからGoogleプラットフォームに移行するのと同じような移行を誰もが行っていますか？アドバイスはありますか？
はい、クラウドデータフローは、正しい選択肢となり、あなたはおそらく、あなたがトピックとサブスクリプションを使用する場合は、メッセージングミドルウェアとしてクラウドパブ/サブを検討したいです。キーで
パーティションのデータは、データフローに完全に可能ですが、あなたはあなたのパイプライン全体のための単一のパーティションキーを決定する必要はありません。代わりに、集約操作を実行する準備ができたら、GroupByKey変換を定義するだけです。データフローはデータをバケットに正しく分割し、分散して多数の作業者に並列処理します。各作業者は自分のキーの部分範囲を所有します。
あなたは順番に複数のGroupByKeysを持つことができ、彼らはシャーディングと集計を行うために異なるキーを使用することができます。
GCPへの移行元AWSユーザの最近の例（具体的には、データフロー）のBrightcoveであろう。ここに彼らのGCPの記録です。次のセッションhttps://www.youtube.com/watch?v=3BrcmUqWNm0&feature=youtu.be&t=29m30s