2016-05-10 9 views
2

spark UI master:4040にアクセスしようとすると、このエラーがsparkシェルで発生する理由を知っていますか?spark:WARN amfilter.AmIpFilter:プロキシユーザーのCookieが見つかりませんでしたので、ユーザーは設定されません

WARN amfilter.AmIpFilter: Could not find proxy-user cookie, so user will not be set 
+0

はそれをGoogleで検索し、これを見つけた - https://mail-archives.apache.org/mod_mbox/spark-user /201502.mbox/%[email protected].com%3E。 –

答えて

1

糸でスパークシェルを始めると、これが起こります。

この場合、YARNはシステム全体のセキュリティを強化するためにプロキシWebアプリケーションを開始します。 Sparkシェルの起動時に、プロキシのURLがログに表示されます。

16/06/26 08:38:28 INFO cluster.YarnClientSchedulerBackend: Add WebUI Filter. org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter, Map(PROXY_HOSTS -> myhostname, PROXY_URI_BASES -> http://myhostname:8088/proxy/application_1466917030969_0003), /proxy/application_1466917030969_0003 

あなたはポート4040を使用して、標準スパークのWeb UIにアクセスしてはならない(またはあなたが設定されているものは何でも): はここに私のログからのサンプルです。 代わりに、私は(私は2番目の1をprefere)これらの2つのオプションを知っている:

  1. は、プロキシアプリケーションのURLのログをスキャンして使用するオープン

  2. ことYARNのWeb UI http://localhost:8088/clusterと リンクをたどります ランニングスパークアプリケーション

のApplicationMaster(列トラッキングUI)にこれもYARNとスパークドキュメントで簡単にdescibedています。

スパークのセキュリティのドキュメント:
https://spark.apache.org/docs/latest/security.html

糸のWebアプリケーションプロキシのドキュメント:
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html

関連する問題