Stormの遅延キュー/メッセージ処理

Question

私のStormトポロジでは、ストリームの処理中に、将来のある時点までいくつかのメッセージの処理を遅らせたいと考えています。これを行うための合理的なオプションは何ですか？

これまでのところ、私は次のことについて考えています

• JavaのThread.sleepを使用しました。 （ただし、いくつかの議論を踏まえ、これは効率的に嵐のリソースを利用するための推奨方法ではありません。）
• が遅れたキューを使用して...
  • 特に、java.util.concurrent.DelayQueueを試してみてください。
  • 他にも試してみる価値のある実装はありますか？
• 私は見落としたメッセージを遅らせるためにいくつかのAPIを持っていますか？
• ZeroMQはStorm（変更された場合）が利用できる遅延メッセージングAPIを提供しますか？

Answer 1

外部メッセージキューを使用して、時間遅延キューを実装します。

嵐がフォールトトレラントで、水平に分布するので、それはそのスタイルに合ったメッセージキューを選ぶために理にかなって、例えば：

• カフカ
• アマゾンSQS
• RabbitMQの

Answer 2

私たちはトポロジのティックルタプルを使用して、保留中のタプルをバルクで処理しています。基本的には、すべての通常のタプルでメモリに格納し、目盛タプルを受け取ると、バルク/パイプライン処理を使ってストレージ/インデックスに処理します。

ボリュームスパイクは、ボリュームスパイクがすべてのホストでローカルのredisストレージにリダイレクトされたことを検出し、ボリュームがダウンした後でトポロジ処理にプッシュバックされた場合に、ボリュームが急激に増加する場合にも使用します。私の状況はあなたのものには当てはまらないかもしれません。