Apache Stormハートビートを監視する/状態：：許可しない

Question

Apache Stormがnimbusに送信するハートビートイベントを監視することはできますか？

私は現在、クラスタ、CPU、RAM、I/O、ネットワークの使用状況にボトルネックがあるとは思われませんが、私のワーカーがランダムに再割り当てされるような問題に直面しています。私がこれを監視できる唯一の方法は、supervisor.logファイル（Shutting down and clearing id xxx. Current supervisor time: 123. State: :disallowed, Heartbeat: { ... }）とアプリケーションの結果に間違いがないかどうかをチェックすることでした。ストームUIにエラーはなく、ワーカーログにはスタックトレースもありません（メモリ不足など）。

実行中のStorm 0.10は、〜12人のワーカーと約650人のエグゼキュータを持つ小さな4ノードクラスタで実行されます。ワーカーの最大JVM ram/childopts設定は4096MiBで、GCを使用して面白い結果を表示すべきではありません。

Answer 1

実際、タスクハートビートは、組み込みのメトリックをZookeeperに書き込むことで実行されており、NimbusはそれらをZookeeperから読み込みます。

Stormクラスタにタスクが多すぎると、ZKに大量の書き込みが発生し、ZKが過負荷になり、ハートビートの書き込み/読み出しが間に合わないことがあります。だからあなたはZookeeperを監視し、ZKがボトルネックであることがわかったときに適切な処置をとる必要があります。