スパーク・スタンドアロン・クラスタを作成したいとします。私は2つのワークステーションとノートパソコンを持っています。すべてOSとしてUbuntuを持っています。これらのシステムのそれぞれは、異なるユーザー名を持っています。 私はこのブログSpark clusterに従った。ラボ
Slave01のユーザー名：ラボ私はホストがスパーク・クラスタ内のスレーブに接続できません
sudo gedit /etc/hosts
10.8.9.13マスター
10.8.19.23 slave01
10.8.5.158 slave02マスターのユーザーがファイル名を編集しました-zero
スレーブ02のユーザー名：
私も属していますキー値のペアssh-keygen -t rsaを作成し、.ssh/authorized_keysファイルに追加してください。 私は両方のマシンをsshするとパスワードなしでログインすることができます。 しかし、私は./start-all.shを実行すると、それはそれはここで立ち往生し、両方の奴隷が私のデフォルトのユーザ名labの代わりに、リモートホスト（この場合は、スレーブのユーザ名：lab-zeroとcomputer）のユーザー名を使用してアクセス得ている
[email protected]'s password: [email protected]'s password: localhost: starting org.apache.spark.deploy.worker.Worker, logging to /home/lab/Downloads/spark-2.1.1-bin-hadoop2.7/logs/spark-acs-lab-rg.apache.spark.deploy.worker.Worker-1-M1.out`
を与えます
Spark Master UIを確認すると、エラー：The requested URL could not be retrievedが返されます。
./stop-slaves.shと入力すると、no org.apache.spark.deploy.worker.Worker to stop
助けてください。
更新
ワーカーログ：
17/11/30 1時53分40秒INFOワーカー：マスターへの接続を再試行して（試行＃16）17/11/30 1時53分：40情報ワーカー：マスターに接続 10.8.9.13:7077 ... 17/11/30 01:53:40 WARNワーカー：マスターに接続できません10.8.9.13:7077 org.apache.spark.SparkException：例外 awaitResultでスローされました org.apache.spark.rpc.RpcTimeout $$ anonfun $ 1.applyOrElse（RpcTimeout.scala：77） at org.apache.spark.rpc.RpcTimeout $$ anonfun $ 1.applyOrElse（RpcTimeout.scala：75） scala.runtime.AbstractPartialFunction.apply（AbstractPartialFunction.scala：36）で org.apache.spark.rpcで.RpcTimeout $$ anonfun $ addMessageIfTimeout $ 1.applyOrElse（RpcTimeout.scala：59） でorg.apache.spark.rpc.RpcTimeout $$ anonfun $ addMessageIfTimeout $ 1.applyOrElse（RpcTimeout.scala：59） scala.PartialFunctionの$でOrhel.apply（PartialFunction.scala：167）at org.apache.spark.rpc.RpcTimeout.awaitResult（RpcTimeout.scala：83）at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI（RpcEnv.scala：100） at org.apache.spark.rpc.RpcEnv.setupEndpointRef（RpcEnv.scala：108）at（Worker.scala：218） （ ）java.util（Worker.scala：218） を入力してください。 .concurrent.Executors $ RunnableAdapter.call（Executors.java:511） at java.util.concurrent.FutureTask.run（FutureTask。Javaの：266） java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1149） でjava.lang.Threadので java.util.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:624） で.run（Thread.java:748）原因： java.lang.RuntimeException：java.io.EOFException（ ）java.io.DataInputStream.readFully（DataInputStream.java:197）at java.io.DataInputStream.readUTF 組織で582） ： org.apache.spark.rpc.netty.RequestMessage $ .readRpcAddress（NettyRpcEnv.scalaで java.io.DataInputStream.readUTF（DataInputStream.java:564）でDataInputStream.java:609）。 apache.spark.rpc.netty.RequestMessage $ .apply（NettyRpcEnv.scala：592） でorg.apache.spark.rpc.netty.NettyRpcHandler.internalReceive（NettyRpcEnv.scala：651） でorg.apache.spark.rpc.netty.NettyRpcHandler.receive（NettyRpcEnv.scala：636） ORGで org.apache.sparkで.apache.spark.network.server.TransportRequestHandler.processRpcRequest org.apache.spark.network.server.TransportRequestHandler.handle（TransportRequestHandler.java:105）で（TransportRequestHandler.java:157） .network.server.TransportChannelHandler.channelRead（TransportChannelHandler.java:118） at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:357） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:343） でio.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:336） io.netty.handler.timeout.IdleStateHandlerました。 channelRead（IdleStateHandler.java:287） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:357） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:343） IOで.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:336） でio.netty.handler.codec.MessageToMessageDecoder.channelRead（MessageToMessageDecoder.java:102） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:357） io.netty.channel.AbstractChannelHandlerContextで org.apache.spark.network.util.TransportFrameDecoder.channelRead（TransportFrameDecoder.java:85で.invokeChannelRead（AbstractChannelHandlerContext.java:343） でio.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:336） ） at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java： 357） でio.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:336） io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:343） でio.netty.channel.DefaultChannelPipelineで$ HeadContext.channelRead（DefaultChannelPipeline.java:1294） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:357） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:343） io.netty.channel.DefaultChannelPipelineにあります。 io.netty.channel.nio.NioEventLoop.processSelectedKeyで io.netty.channel.nio.AbstractNioByteChannel $ NioByteUnsafe.read（AbstractNioByteChannel.java:131） （NioEventLoop.javaでfireChannelRead（DefaultChannelPipeline.java:911） ： 643） でio.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized（NioEventLoop.java:566） io.nettyでio.netty.channel.nio.NioEventLoop.processSelectedKeys（NioEventLoop.java:480） ました。 channel.nio.NioEventLoop.run（NioEventLoop.java:442）at io.netty.util.concurrent.SingleThreadEventExecutor $ 2.run（SingleThreadEventExecutor.java:131） at io.netty.util.concurrent.DefaultThreadFactor java.lang.Thread.runのY $ DefaultRunnableDecorator.run（DefaultThreadFactory.java:144） org.apache.spark.network.client.TransportResponseHandler.handleで（Thread.java:748）
（ TransportResponseHandler.java:189） でorg.apache.spark.network.server.TransportChannelHandler.channelRead（TransportChannelHandler.java:120） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:367） で io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:353） でio.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:346） でio.netty.handler.timeout.IdleStateHandler.channelRead（IdleStateHandler.java:266） io.netty.channel.AbstractChannelHandlerContextました。 invokeChannelRead（AbstractChannelHandlerContext.java:367） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:353） でio.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:346） IOで.netty.handler.codec.MessageToMessageDecoder.channelRead（MessageToMessageDecoder.java:102） a io.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AT T io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:367） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:353） AbstractChannelHandlerContext.java:346） でorg.apache.spark.network.util.TransportFrameDecoder.channelRead（TransportFrameDecoder.java:85） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:367） で io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:353） でio.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:346） io.netty.channel.AbstractChannelHandlerContextで io.netty.channel.DefaultChannelPipeline $ HeadContext.channelRead（DefaultChannelPipeline.java:1294） で.invokeChannelRead（AbstractChannelHandlerContext.java:367） でio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:353） でio.netty.channel.DefaultChannelPipeline.fireChannelRead（DefaultChannelPipeline.java:911） でio.netty.channel.nio.AbstractNioByteChannel $ NioByteUnsafe.read（AbstractNioByteChannel。ジャワ：131） io.netty.channel.nio.NioEventLoop.processSelectedKey（NioEventLoop.java:652） でio.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized（NioEventLoop.java:575で） IOで.netty.channel.nio.NioEventLoop.processSelectedKeys（NioEventLoop.java:489） at io.netty.channel.nio.NioEventLoop.run（NioEventLoop.java:451） io.netty.util.concurrent.SingleThreadEventExecutor $ 2。 （DefaultThreadFactory.java:144） ... 1もっと17/11/30 01:54:43エラー：Worker：すべてのマスターは です。あきらめる。
私は '。/ sbin/start-master.sh'を実行し、UI上の空き状況を確認すると' Spark Master at spark：// M1：7077/'を取得した後に'/sbin/start-slaveを実行します。 sh火花：/ 10.8.9.13：7077'しかしホストは生きている労働者を示さない。私も自分のconf/spark-env.shに> SPARK_MASTER_HOST = your_host_ip SPARK_LOCAL_IP = your_host_ip を追加しました。それは動作していないようです –
@abhinavchoudhury './sbin/start-slave.shの代わりに' ./sbin/start-slave.sh spark：// M1：7077 'を実行しようとしましたか？ 10.8.9.13:7077 '？ –
はい、私は、まだマスターWeb UI上に何も表示されませんでした。スレーブマシンのログもチェックしました。マスターに接続できませんでしたM1：7077、エラー –