Dataprocクラスタを起動し、ポート4040でWeb UIを使用する際に問題が発生しました。まず、spark-shellで表示されるIPとポートを表示します。次に、Spark UIポートにURLを設定すると、302エラーコードが表示されます。DataprocクラスタのSpark UIからファイルを取得するときのHTTPコード302
wilsonbill522 @ cluster-db78-m:〜$ spark-shell デフォルトのログレベルを「WARN」に設定します。 ロギングレベルを調整するには、sc.setLogLevel(newLevel)を使用します。 SparkRの場合は、setLogLevel(newLevel)を使用します。 ivysettings.xmlファイルHIVE_HOMEまたはHIVE_CONF_DIRでは見られない、の/ etc /ハイブ/ conf.dist/ivysettings.xml http://10.128.0.2:4040ポート4040にwgetコマンドを使用して
で利用可能 スパークコンテキストのWeb UIを使用され、私が取得します例えば「仕事」URL を除いて、すべてのURLのHTTPコード302で応答:
wgetのhttp://10.128.0.2:4040/proxy/application_1505052986245_0002/static/timeline-view.js
stackoverflowのは、私がリンクを掲示していますことを決定したので、残念ながら、私は、出力を投稿することはできません。しかし、上記のコマンドの結果は、HTTP 302応答コードです。
上記のwgetは、異なるsshセッションのマスターノードで実行されます。 302レスポンスは "jobs" URLにリダイレクトされます(実際のURLはここではスペルができません)。
上糸RMプロキシ経由でリダイレクトされたURLにアクセスすることができますSparkのコンテキストにアクセスするには、「アプリケーションマスター」をクリックしてSparkのUIを表示しますか? –
wgetに必要なサイトにリダイレクトするように指示していません –
私のブラウザでhttp://10.128.0.2:8088/clusterにアクセスしました。このページで私が見つけたURLをhttp://10.128.0.2:8088/proxy/application_1505077572981_0001/に変更すると、私が一緒に暮らすことができるスパークウェブUIのようです。ポート4040を正常に動作させるためにできることはありますか?他の誰かがこの問題をポート4040で見ていますか? –