flinkヒストリサーバーを構成しようとしています。私はフリンク文書hereに従った。ヒストリサーバーを起動できますが、実行中のジョブではなく、完了したジョブしか見ることができませんでした。何かが欠けているのか、それとも完了したジョブだけが履歴サーバーに表示されているのでしょうか。親切に助けてください。Flinkヒストリサーバーに実行中のアプリケーションが表示されない
ジョブズ現在クラスタ内:
はlocalhost:8081/joboverview
{
"running": [
{
"jid": "e4e6edb76b887054d7aca460b7136937",
"name": "Filter",
"state": "RUNNING",
"start-time": 1505971363801,
"end-time": -1,
"duration": 11588615,
"last-modification": 1505971363832,
"tasks": {
"total": 1,
"pending": 0,
"running": 1,
"finished": 0,
"canceling": 0,
"canceled": 0,
"failed": 0
}
}
],
"finished": [
{
"jid": "ec16f4cf01192268150c750966cefd0d",
"name": "Flink Java Job at Thu Sep 21 10:52:09 IST 2017",
"state": "FINISHED",
"start-time": 1505971329989,
"end-time": 1505971330746,
"duration": 757,
"last-modification": 1505971330746,
"tasks": {
"total": 3,
"pending": 0,
"running": 0,
"finished": 3,
"canceling": 0,
"canceled": 0,
"failed": 0
}
}
]
}
履歴サーバで利用可能な
ジョブズ
はlocalhost:8082/joboverview
{
"running": [],
"finished": [
{
"jid": "ec16f4cf01192268150c750966cefd0d",
"name": "Flink Java Job at Thu Sep 21 10:52:09 IST 2017",
"state": "FINISHED",
"start-time": 1505971329989,
"end-time": 1505971330746,
"duration": 757,
"last-modification": 1505971330746,
"tasks": {
"total": 3,
"pending": 0,
"running": 0,
"finished": 3,
"canceling": 0,
"canceled": 0,
"failed": 0
}
}
]
}
FLINK履歴サーバ設定:
#==============================================================================
# HistoryServer
#==============================================================================
# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)
# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
jobmanager.archive.fs.dir: hdfs://<hdfs>:8020/sax/flink/jobmanager
# The address under which the web-based HistoryServer listens.
historyserver.web.address: localhost
# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8082
# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs://<hdfs>:8020/sax/flink/jobmanager
# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 10000
返信いただきありがとうございます。はい、私はドキュメントをクリアし、完了したジョブだけが履歴サーバーに表示されることを確認しました。私は、実行中のジョブと完了したジョブの両方を見るスパークヒストリーサーバーと比較して混乱しました。ここでFlinkで私は実行中のjsonを見ることができますが、実行中のjsonは常に空です。それが私の疑問を明確にするためにこの質問を投稿した理由です。 – far2c
実行は常に空ですか?私たちが正確に何が間違っているかを見ることができるように、ちょっとした情報で質問を更新することができますか?それ以外の場合は、答えがあなたを助けた場合は、それが受け入れられたとマークすることができます。 –