スパーク・シェルは、以下

Question

は私spark-defaults.confとMesosのWeb UIは、スパークフレームワークの多くは、継続的に登録spinning-れたことを示しているがそれは無期限にここにハングspark-shell

$ cat conf/spark-defaults.conf 
spark.master      mesos://172.16.**.***:5050 
spark.eventLog.enabled   false 
spark.broadcast.compress   false 
spark.driver.memory    4g 
spark.executor.memory   4g 
spark.executor.instances   1 

$ bin/spark-shell 
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). 
log4j:WARN Please initialize the log4j system properly. 
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 
Using Spark's repl log4j profile: org/apache/spark/log4j-defaults-repl.properties 
To adjust logging level use sc.setLogLevel("INFO") 
Welcome to 
     ____    __ 
    /__/__ ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/ '_/ 
    /___/ .__/\_,_/_/ /_/\_\ version 1.5.2 
     /_/ 

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_80) 
Type in expressions to have them evaluated. 
Type :help for more information. 
15/11/15 04:56:11 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set. 
I1115 04:56:12.171797 72994816 sched.cpp:164] Version: 0.25.0 
I1115 04:56:12.173741 67641344 sched.cpp:262] New master detected at master@172.16.**.***:5050 
I1115 04:56:12.173951 67641344 sched.cpp:272] No credentials provided. Attempting to register without authentication 

の出力ですsched.cppで立ち往生Ctrl-Cでspark-shellを終了するまで登録を解除してください。

私はそれは、部分的に複数のIPアドレスを持つ私のラップトップに起因していると思われます。サーバー上で実行すると、次の行に続き、通常のScalaのREPL：

I1116 09:53:30.265967 29327 sched.cpp:641] Framework registered with 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242 
15/11/16 09:53:30 INFO mesos.MesosSchedulerBackend: Registered as framework ID 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242 
15/11/16 09:53:30 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 57810. 
15/11/16 09:53:30 INFO netty.NettyBlockTransferService: Server created on 57810 
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Trying to register BlockManager 
15/11/16 09:53:30 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.16.**.***:57810 with 2.1 GB RAM, BlockManagerId(driver, 172.16.**.***, 57810) 
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Registered BlockManager 
15/11/16 09:53:30 INFO repl.Main: Created spark context.. 
Spark context available as sc. 

私は中間圏で構築されたMesosの0.25.0を実行している、と私はからアクセス可能なアドレスへspark.driver.hostを設定していますMesosクラスタ内のすべてのマシン。 spark-shellのプロセスによって開かれているすべてのポートは、そのIPアドレスまたは*にバインドされていることがわかります。

The most similar question on StackOverflowこの場合、私のラップトップはホストからアクセス可能である必要があるため、役立たないようです。

フレームワークが登録解除された理由を含む可能性のあるログファイルを見つけることができませんでした。この問題を解決するにはどこを探しますか？

Answer 1

メゾスは、ネットワークの仕組みについて非常に奇妙な考えを持っています。特に、双方向のマスターとフレームワーク間の通信を確立することが重要です。双方は相互ネットワークルートを持つ必要があります。 NATやコンテナの背後で実行する場合はこれまでに実行しています。通常、フレームワーク側の公開アクセス可能なIPにはLIBPROCESS_IPを設定する必要があります。おそらくこれはあなたのラップトップのようなマルチホームシステムにも当てはまります。

インターネット上にはもう少し詳しい情報が掲載されていますが、残念ながらそれについては十分に文書化されていません。しかし、a hint on their Deployment Scripts pageがあります。