最初の仕事はどんな資源も受け入れていません

Question

私の質問は、「初期仕事はどんな資源も受け入れていません」と報告した他のポスターと似ています。私は彼らの提案を読んでも、まだJavaから仕事を提出することができません。スパークをインストールした経験がある方が明らかにミスをしているか、これをトラブルシューティングする方法が分かっているのでしょうか？

Spark : check your cluster UI to ensure that workers are registered。

構成は次のとおりです。 （VM Fedora） マスター：バージョン2.0.2、あらかじめビルド済みです。 労働者：単一インスタンス。

（ホスト/ WindowsのJavaアプリケーション） クライアントが付属

conf.set("spark.cores.max","1"); 
conf.set("spark.shuffle.service.enabled", "false"); 
conf.set("spark.dynamicAllocation.enabled", "false"); 

で構成され、サンプルJavaAppあるスパークUIのスナップショットです。限り、私の仕事は受信され、送信され、実行されていることを伝えることができます。また、CPUとRAMを過剰に利用しているとは思われません。

のJava（クライアント）コンソールが

12:15:47.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0 
12:15:48.815 DEBUG parentName: , name: TaskSet_0, runningTasks: 0 
12:15:49.806 WARN Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 
12:15:49.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0 
12:15:50.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0 

スパークワーカーログレポートを報告します。

16/11/22 12:16:34 INFO Worker: Asked to launch executor app-20161122121634-0012/0 for Simple 
Application 
16/11/22 12:16:34 INFO SecurityManager: Changing modify acls groups to: 
16/11/22 12:16:34 INFO SecurityManager: SecurityManager: authentication disabled; ui acls dis 
abled; users with view permissions: Set(john); groups with view permissions: Set(); users 
with modify permissions: Set(john); groups with modify permissions: Set() 
16/11/22 12:16:34 INFO ExecutorRunner: Launch command: "/apps/jdk1.8.0_101/jre/bin/java" "-cp " "/apps/spark-2.0.2-bin-hadoop2.7/conf/:/apps/spark-2.0.2-bin-hadoop2.7/jars/*" "-Xmx1024M" "-Dspark.driver.port=29015" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver-url" "spark://CoarseGrainedScheduler@192.168.56.1:29015" "--executor-id" "0" "--hostname" "192.168.56.103" "--cores" "1" "--app-id" "app-20161122121634-0012" "--worker-url" "spark://Worker@192.168.56.103:38701" 

Answer 1

あなたが通信をブロックするファイアウォールを持っていますか？

Apache Spark on Mesos: Initial job has not accepted any resources：私の他の回答で述べたように

他の回答のほとんどは、スパークスレーブ上のリソース割り当て（コア、メモリ）に焦点を当てている間は、私はまったく同じ問題を引き起こす可能性があること、ファイアウォールを強調したいと思います特に、あなたがクラウドプラットフォーム上でsparkを実行しているとき。

ウェブUIでスパークスレーブが見つかった場合は、標準ポート8080,8081,7077,4040を開いた可能性があります。それでも、実際にジョブを実行すると、SPARK_WORKER_PORT、spark.driver.port、sparkデフォルトではランダムに割り当てられる.blockManager.port。ファイアウォールがこれらのポートをブロックしている場合、マスターはスレーブからのジョブ固有の応答を取得できず、エラーを返します。

すべてのポートを開いて、スレーブがジョブを受け入れるかどうかを確認することで、クイックテストを実行できます。