0
スタンドアロンクラスタでアプリケーションをテストしようとしています。ここに私のシナリオがあります。 ノードAでスパークマスターを開始し、同じノードAで1人のワーカーを起動しました。java.lang.RuntimeException：ストリーム '/ jars/<custom-jar>'がスパークスタンドアロンモードで見つかりません
ノードBからアプリケーションを実行しようとしています（これはドライバーとして機能すると思います）。私は、アプリケーションを起動すると、私は瓶それができると
16/12を言って、次の情報を参照してください、私は（「jar1」、「jar2」）setJarsを使用してsparkconfに
をjarを追加した
/16 7時45分56秒INFO SparkContext：スパークで添加したJAR jar1.jar：//ノードB：48151 /瓶/ jar1.jarタイムスタンプ1481899556375
と
16/12/16 7時45分。 56 INFO SparkContext：spark：// nodeb：48151/jars/jar2.jarにJAR jar2.jarを追加し、タイムスタンプ14818995 56376
しかし、私はネッティー中にノードAから次の例外が（と思う）それはどこかHDFSに配置する必要がありますあなたのjarファイルが
に位置している
16/12/16 07:46:00 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, nodeA): java.lang.RuntimeException: Stream '/jars/node2.jar' was not found
at org.apache.spark.network.client.TransportResponseHandler.handle(TransportResponseHandler.java:222)
at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:121)
at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51)
at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)
at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
at io.netty.util.concurrent.SingleThreadEven
私は同じ問題があります。この問題は運がいい？ –