0
私はKafkaからmsgを読み込んで何らかの処理を行うSparkアプリケーションを継続して実行しています。集約された「アプリケーションログ」を取得する方法はありますか？Sparkアプリケーションの実行から集約ログを取得する方法
AFAIK、ログ集計は、SparkContextが破棄された場合にのみ発生します。
A
答えて
0
ログ用に標準のYARNコマンドを試しましたか？
ヤーンログ-applicationId some-id
関連する問題
- 1. Sparkスタンドアロンクラスタの集約ログを表示するには
- 2. cronジョブでdocker-compose実行ログを取得する方法は？
- 3. 実行時にspark-submitからCSVシンクメトリックファイルを取得する
- 4. IISログの集約
- 5. JSONログからの集計メトリックをapache sparkで作成する
- 6. AngularJSアプリケーションで計算集約型タスクを実行する方法は？
- 7. JavaでSparkを使用してElasticsearchインデックスで集約を実行
- 8. Sparkで複数の列を一度に集約する方法
- 9. VFP DBのSQLクエリ：別のグループと集約に対応する行からデータを取得する方法
- 10. 実行中のアプリケーションの名前を取得する方法は？
- 11. 私のアプリケーションで実行中のスレッドを取得する方法
- 12. tomcat7でgenexusアプリケーションの作業ログを取得する方法
- 13. 実行中のアプリケーションからデータを読み取る方法
- 14. CI HMVC：モジュール::実行からのparams（）を取得する方法
- 15. 実行中のJVMからヒープダンプを取得する方法
- 16. Sparkアプリケーションがクラッシュした後、Spark ExecutorログをYarnに保持する方法
- 17. SparkクラスタでSpring起動アプリケーションを実行する方法
- 18. org.springframework.data.elasticsearch.core.FacetedPageで集約を得る方法
- 19. Symfony Consoleアプリケーションでクラスからログを取る方法
- 20. ブラックベリーウェブワークのログを取得する方法
- 21. バックグラウンドページから実行中のChromeアプリケーションを取得する
- 22. タイマ実行アプリケーションを取得する方法
- 23. Cumulocityから集約データを取得する
- 24. Twilio WebhookからSMSログを取得する方法
- 25. discord.py DMチャネルからログを取得する方法
- 26. spark-perf実行時にSparkUncaughtExceptionHandlerを取得
- 27. ログから実行時間を分析する方法は？
- 28. Spark DataFramesのargmax：最大値の行を取得する方法
- 29. spark-shell/spark-submitから対話型スパークアプリケーションを実行する方法
- 30. spark-shellを実行する前にspark-env.shを編集する正しい方法は何ですか？
YARNで実行していますか？あなたはYARNのログをしたいですか？ –
はいArun。ここに私のコマンドはありますか？/ usr/bin/spark-submit - マスター糸 - デプロイモードクライアント - supervise - ドライバメモリ20G - エグゼキュータメモリ20G - ドライバクラスパス=/home/jvadisela /spark/guava-18.0.jar:/home/jay/spark/jackson-core-2.4.5.jar --class com.collective.datarollup.entry.Startup /home/jay/spark/Test-0.0.1- SNAPSHOT-jar-with-dependencies.jar –
はストリーミングアプリケーションですか？ –