スパーク：CoarseGrainedSchedulerが見つかりませんでした

何時間か実行した後でSparkのジョブを実行しているこの例外の原因がわかりません。スパーク：CoarseGrainedSchedulerが見つかりませんでした

実行中スパーク2.0.2

デバッグのヒント？

2016-12-27 03:11:22,199 [shuffle-server-3] ERROR org.apache.spark.network.server.TransportRequestHandler - Error while invoking RpcHandler#receive() for one-way message. 
org.apache.spark.SparkException: Could not find CoarseGrainedScheduler. 
    at org.apache.spark.rpc.netty.Dispatcher.postMessage(Dispatcher.scala:154) 
    at org.apache.spark.rpc.netty.Dispatcher.postOneWayMessage(Dispatcher.scala:134) 
    at org.apache.spark.rpc.netty.NettyRpcHandler.receive(NettyRpcEnv.scala:571) 
    at org.apache.spark.network.server.TransportRequestHandler.processOneWayMessage(TransportRequestHandler.java:180) 
    at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:109) 
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:119) 
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51) 
    at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846) 
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEve

出典

2016-12-27 Adetiloye Philip Kehinde

'--conf spark.dynamicAllocation.enabled = false'は私にとってこの問題を解決したものです。 ¯\ _（ツ）_ /¯ – sinemetu1

ええ、私はその潜在的な例外の意味を知っています。エグゼキュータは、コンテナのしきい値を超えているため、殺されました。
いくつかの理由が考えられますが、最初にあなたの仕事をチェックしたり、ノード/エグゼキュータをクラスタに追加したりしてください。

出典

2017-02-08 23:41:59

これらのカップルの理由は何ですか？ノード/リソースを増やすことなく、ジョブが遅く実行されても問題ないのですが？あなたはもっと精巧な説明をすることができますか、おそらく参照へのリンクを共有しますか？ –

リソースに問題がある可能性があります。コアとエグゼキュータの数を増やし、アプリケーションにさらにRAMを割り当てようとすると、再パーティションを呼び出すことによってRDDのパーティション番号を増やす必要があります。パーティションの理想的な数は以前の設定に依存します。お役に立てれば。

出典

2017-02-09 00:03:51

私にとっては、spark.read.loadのために存在しないパスを指定した場合、またはcsvの代わりにparquetの入力に間違ったフォーマットを指定した場合、これが発生しました。

実際のエラーはいつもサイレントであり、スタックトレースの上で発生します。場合によっては、スタックトレースの別のセットを、より意味のあるものと一緒に見つけることができます。

出典

2017-09-27 20:45:10

スパーク：CoarseGrainedSchedulerが見つかりませんでした

答えて

関連する問題