spark UI master:4040にアクセスしようとすると、このエラーがsparkシェルで発生する理由を知っていますか?spark:WARN amfilter.AmIpFilter:プロキシユーザーのCookieが見つかりませんでしたので、ユーザーは設定されません
WARN amfilter.AmIpFilter: Could not find proxy-user cookie, so user will not be set
spark UI master:4040にアクセスしようとすると、このエラーがsparkシェルで発生する理由を知っていますか?spark:WARN amfilter.AmIpFilter:プロキシユーザーのCookieが見つかりませんでしたので、ユーザーは設定されません
WARN amfilter.AmIpFilter: Could not find proxy-user cookie, so user will not be set
糸でスパークシェルを始めると、これが起こります。
この場合、YARNはシステム全体のセキュリティを強化するためにプロキシWebアプリケーションを開始します。 Sparkシェルの起動時に、プロキシのURLがログに表示されます。
16/06/26 08:38:28 INFO cluster.YarnClientSchedulerBackend: Add WebUI Filter. org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter, Map(PROXY_HOSTS -> myhostname, PROXY_URI_BASES -> http://myhostname:8088/proxy/application_1466917030969_0003), /proxy/application_1466917030969_0003
あなたはポート4040を使用して、標準スパークのWeb UIにアクセスしてはならない(またはあなたが設定されているものは何でも): はここに私のログからのサンプルです。 代わりに、私は(私は2番目の1をprefere)これらの2つのオプションを知っている:
は、プロキシアプリケーションのURLのログをスキャンして使用するオープン
ことYARNのWeb UI http://localhost:8088/clusterと リンクをたどります ランニングスパークアプリケーション
のApplicationMaster(列トラッキングUI)にこれもYARNとスパークドキュメントで簡単にdescibedています。
スパークのセキュリティのドキュメント:
https://spark.apache.org/docs/latest/security.html
糸のWebアプリケーションプロキシのドキュメント:
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html
はそれをGoogleで検索し、これを見つけた - https://mail-archives.apache.org/mod_mbox/spark-user /201502.mbox/%[email protected].com%3E。 –