ドライバがシャットダウンを指示した後にスパークワーカーが停止する

Question

基本的に、マスターノードもスレーブの1つとして機能します。スレーブ上のスレーブが完了すると、SparkContextを停止するよう呼び出され、このコマンドは処理の途中で実行を停止するすべてのスレーブに伝播します。労働者の1で

エラーログ：

INFO SparkHadoopMapRedUtil：attempt_201612061001_0008_m_000005_18112：

INFO Executorのコミット：段階8.0に仕上がっタスク5.0（TID 18112）。 2536バイトが結果ドライバ

INFO CoarseGrainedExecutorBackendに送ら：ドライバは

ERROR CoarseGrainedExecutorBackendシャットダウンを命じ：リソース・マネージャのユーザーインターフェイスをチェック

Answer 1

SIGNAL TERMtdownを受け、あなたが任意のエグゼキュータを見る場合には失敗しました - それは詳細メモリエラーについてただし、エグゼキュータに障害が発生していないのにドライバがシャットダウンを要求しても、通常はドライバのメモリが原因です。ドライバのメモリを増やしてください。それがどうなるか教えてください。