YARNのクライアントモードでエグゼキュータからログ出力を収集するにはどうすればよいですか？

Question

Jenkinsから起動されたスパークジョブがある場合、Jenkinsログに表示するようにspark workerからの出力を取得するにはどうすればよいですか？私はスタンドアロンのスパークではなく、クライアントモードで糸を使用しています。

Answer 1

アプリケーションが完了した後にyarn logs -applicationIdを使用してください。実行中の場合は、YARNコンソール（通常は8088ポート）を使用するか、Sparkアプリケーションのコンテナを管理するNodeManager上のディスク上のログにアクセスできます。