awsからのカスタムユーザログのスパークEMR

私は、デバッグモードをオンにして、EMR（spool）ジョブを実行しています（糸、クラスタモード、一時 - ジョブ終了後にクラスタがシャットダウンします）。すべてのスパーク・ログは期待通りS3にアップロードされているが、私は私自身のカスタムログをアップロードすることはできません... 使用してlog4jの、私はそれはのように思える火花ドキュメントlog4j.appender.algoLog.File=${spark.yarn.app.container.log.dir}/algoLog.logawsからのカスタムユーザログのスパークEMR

た内容に応じて、folowingパスに書き込むしようとしています変数は未定義です。それはrootに直接書き込もうとします。 /algoLog.log。私はそれを他の任意の場所に書いています。それはs3には表示されません。クラスタをシャットダウンした後にEMRをs3にアップロードする場合は、自分のログファイルをどこに書き込むべきですか？

出典

2017-07-10 NetanelRabinowitz

Sparkのバージョンをお使いですか？ –

EMRバージョン5.5.0、Spark 2.1.0 – NetanelRabinowitz

Log4Jはオブジェクトストアに書き込むように設定されていません。ファイルシステムの概念は異なっています。

あなたはかもしれませんログ収集でYARNにそれをさせることができます。 How to keep YARN's log files?

出典

2017-07-10 09:30:23

私はlog4j s3パスを指定しようとしませんでした。私はそれにローカルパスを与えようとしましたが、EMRがそれらのファイルをs3ログバケットに配信することを期待しています。 – NetanelRabinowitz

それは私が遊んだものではありません。私はYARNのロギングがクラスタ全体からデータを収集し、それを表示するように設計されていることを知っています...でも、そこではs3の統合についてはわかりません。ごめんなさい –

awsからのカスタムユーザログのスパークEMR

答えて

関連する問題