個々のdataprocスパークログはどこにありますか？

Question

dataprocのスパークジョブログはどこにありますか？私はそこに "ロギング"セクションの下のドライバからのログがあることを知っているが、実行ノードはどうですか？また、Sparkが実行している詳細な手順はどこにありますか（アプリケーションマスターで確認できます）。私はハングアップしてスパークが凍結しているように見えるスクリプトをデバッグしようとしています。

Answer 1

タスクログは、各ワーカーノードに/tmpの下に格納されます。

糸ログ凝集によって1か所に集めることができます。 （yarn:接頭辞--properties経由）クラスタの作成時にこれらのプロパティを設定します。

• yarn.log-aggregation-enable=true
• yarn.nodemanager.remote-app-log-dir=gs://${LOG_BUCKET}/logs
• yarn.log-aggregation.retain-seconds=-1

ここでログ管理について説明の記事です：

https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/