私の今後の学士論文では、Apache Flinkからシステムとアプリケーションのデータを収集し、このデータをある種の「イベント」で別のシステムに送信するツールを開発したいと考えています。このツールは、Flinkのジョブノードとタスクマネージャーノードにインストールされます。 dstatのようなLinuxシステムユーティリティのデータに加えて、私はJMXデータを収集したいと思います。JMX経由でFlinkをリモートに接続する方法は?
私の問題は、Flinks jobmanagerにポートを使ってリモートJMX接続を介して接続する方法を理解できなかったことです。コレクタは同じマシン上にありますが、実際には--javaagentを使用してFlinkのJVMのJMXデータにアクセスしないようにしています。
もう1つの問題は、https://github.com/apache/flink/tree/master/flink-contrib/docker-flinkに基づいたローカルドッカー設定があり、ジョブのJMXリモートポートを "オープン"する方法がわからないため、jConsole経由で接続できないflink-1.0.2に更新されています。 - およびtaskmanager。
これを達成する方法はありますか?
事前に感謝、任意のアイデアは非常に感謝します。
これはあなたにとって興味深いかもしれません。https://issues.apache.org/jira/browse/FLINK-1502。 –
ありがとう!しかし、Flinks JVMに別のものから接続することはできません。私にとっては、ローカルの実行中のジョブマネージャー(ドッカーなし)をJConsoleに接続してJVMを読むことができますが、DockerのFlinkにはリモートではありません。 JIRAの問題はFlink特有のメトリックの詳細なようですが、jconsoleのような単純なJVMデータは今のところ十分でしょう... –