pubsubからwebsocketへのリアルタイム変換からクライアントへのプッシュ

Question

サードパーティプロバイダからリアルタイムデータを取得し、変換してWebSocket経由でブラウザに送る必要があります。

ブラウザから取得するまでに、データを受信して​​から200ms以上かかることはありません。

私は、websocketサーバーが購読してメッセージをブラウザにプッシュするpub/subへのデータフローにpub/subを使用することを考えています。

このアプローチは正しいですか、データフローはこのような目的で設計されていませんか？

Answer 1

Dataflowは、信頼性の高いストリーミングの集約と分析を目的として設計されており、システムによる1秒未満の遅延を保証するようには設計されていません。ウィンドウ処理やトリガのようなコアプリミティブは、データの遅れや潜在的なマシンやパイプラインのエラーにもかかわらず、定義されたデータウィンドウ上でストリームを確実に処理することを可能にします。私たちが最適化した主な使用例は、データのストリームに統計を集約して出力することです。フォールトトレランスのためにディスクにログを記録し、トリガーする前に必要に応じて待機して、遅延データに対応するために、そのため、私たちが最適化していないのは、必要とするエンドツーエンドの待ち時間です。