Google Cloud PubSubとFluentdユーザとのログデータフローを作成しようとしています。 最初に、Webサーバーのグループが同じPubSubエンドポイントにアクセスログを送信し、2番目のFluentdサーバーがPubSubエンドポイントからログを取得してGoogle BigQueryやその他のサブシステムに送信するというアーキテクチャです。Google Cloud PubSubとFluentdユーザを使用しているときに、メッセージの冪等を作成するにはどうすればよいですか?
私の質問は、このようなアーキテクチャでは、メッセージの冪等を保つ方法です。 Google Cloud Pubsubのドキュメントによれば、ユーザはログの冪等を保つ責任があります。 https://cloud.google.com/pubsub/docs/subscriber#delivery-contract
しかし、私は多くの流暢なサーバーでそれを行うには良い(と可能であれば、単純な)方法はよく分かりません。 良いアイデアはありますか?