新しいSpark StreamingContextがhdfsエラーで失敗する

Question

私はAzure ACS経由でインストールされたdcosを使用しています。デフォルトのオプションでdcosツールを介してhdfsとsparkをインストールしました。 SparkStreamingContextの作成

ができます：

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
Exception in thread "main" java.lang.IllegalArgumentException: 
java.net.UnknownHostException: namenode1.hdfs.mesos 

私は-optionsとdcos package installとスパークパッケージを再配備する必要が期待=が、hdfs.config-urlがどうあるべきかを把握することはできません。 https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/#hdfsのドキュメントは期限が切れているようです。

Answer 1

はい、期限が切れています。それを修正します。

DC/OS HDFSの現在の設定はhttp://hdfs.marathon.mesos:[port]/v1/connect

です。