flinkストリーミングジョブのログを確認する場所は？

Question

私はYARNで連続して動作するフリンクストリーミングジョブを持っています。実行中のジョブのアプリケーションログは表示されません。私はスタンドアロンのJavaプログラムとして実行するときだけログを取得します。

Answer 1

Flinkジョブの出力は、TaskManagersの標準出力に書き込まれます。

EDIT：ジョブが終了したとき：YARNでは、あなたがそれを有効にした場合に集約YARNログ（yarn logs -applicationId <appid>）を使用して、すべてのログを取得することで、その出力にアクセスすることがあります。

迅速かつ汚れた解決策は、たとえばシンクソケットで出力を送信することです。

Answer 2

YARNで実行しているときにログを直接確認する方法はありません。

私は代わりを見つけました。私は、YYYY-mm-dd-HH 形式でhdfsの場所にログを書き込んでいる私のストリーミングジョブにFlink Rolling Sinkを追加しました。

ログのクエリを行うハイブテーブルを作成することの上にあります。