2017-09-10 4 views
1

Dataprocクラスタを起動し、ポート4040でWeb UIを使用する際に問題が発生しました。まず、spark-shellで表示されるIPとポートを表示します。次に、Spark UIポートにURLを設定すると、302エラーコードが表示されます。DataprocクラスタのSpark UIからファイルを取得するときのHTTPコード302

wilsonbill522 @ cluster-db78-m:〜$ spark-shell デフォルトのログレベルを「WARN」に設定します。 ロギングレベルを調整するには、sc.setLogLevel(newLevel)を使用します。 SparkRの場合は、setLogLevel(newLevel)を使用します。 ivysettings.xmlファイルHIVE_HOMEまたはHIVE_CONF_DIRでは見られない、の/ etc /ハイブ/ conf.dist/ivysettings.xml http://10.128.0.2:4040ポート4040にwgetコマンドを使用して

で利用可能 スパークコンテキストのWeb UIを使用され、私が取得します例えば「仕事」URL を除いて、すべてのURLのHTTPコード302で応答:

wgetのhttp://10.128.0.2:4040/proxy/application_1505052986245_0002/static/timeline-view.js

stackoverflowのは、私がリンクを掲示していますことを決定したので、残念ながら、私は、出力を投稿することはできません。しかし、上記のコマンドの結果は、HTTP 302応答コードです。

上記のwgetは、異なるsshセッションのマスターノードで実行されます。 302レスポンスは "jobs" URLにリダイレクトされます(実際のURLはここではスペルができません)。

+0

上糸RMプロキシ経由でリダイレクトされたURLにアクセスすることができますSparkのコンテキストにアクセスするには、「アプリケーションマスター」をクリックしてSparkのUIを表示しますか? –

+0

wgetに必要なサイトにリダイレクトするように指示していません –

+0

私のブラウザでhttp://10.128.0.2:8088/clusterにアクセスしました。このページで私が見つけたURLをhttp://10.128.0.2:8088/proxy/application_1505077572981_0001/に変更すると、私が一緒に暮らすことができるスパークウェブUIのようです。ポート4040を正常に動作させるためにできることはありますか?他の誰かがこの問題をポート4040で見ていますか? –

答えて

1

Spark Web UIは、すべてのURLをYARNリソースマネージャプロキシとの相対的なフォーマットにしていますが、表示の一部に間違ったホスト/ポートを使用しています(具体的にはspark-shell出力)。私はこれがYARNクライアントモードで実行されているのではないかと確信していますが、まだ確実ではありません。

Dennis Huoが示唆したように、あなたがYARNのUIを通過し、その後YARNアプリケーションが対応する見つけるためにポート8088をナビゲートしたらどうなりますかポート8088

関連する問題