2017-08-23 4 views
1

私はRIに火花ジョブを起動する、このエラーが出る:ジョブズスパーク失敗

スパークログで
Erreur : java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. 
This stopped SparkContext was created at: 
org.apache.spark.SparkContext.<init>(SparkContext.scala:82) .... 

(は/ opt/MAPR /スパーク/スパーク・バージョン/ログ)私は論文をたくさん見つけます例外:

ERROR FsHistoryProvider: Exception encountered when attempting to load application log maprfs:///apps/spark/.60135a9b-ec7c-4f71-8f92-4d4d2fbb1e2b 
java.io.FileNotFoundException: File maprfs:///apps/spark/.60135a9b-ec7c-4f71-8f92-4d4d2fbb1e2b does not exist. 

どうすればこの問題を解決できますか?

答えて

0
あなたはsparkContextを作成(またはそれが存在する場合は取得)する必要が

import org.apache.spark.{SparkConf, SparkContext} 

// 1. Create Spark configuration 
val conf = new SparkConf() 
    .setAppName("SparkMe Application") 
    .setMaster("local[*]") // local mode 

// 2. Create Spark context 
val sc = new SparkContext(conf) 

または

SparkContext.getOrCreate() 
+0

あなたYehorをありがとうございます。 実際に私のSpark Contextは自分のRコードで既に作成されています:: Sys.setenv(SPARK_HOME = "/ opt/mapr/spark/spark-1.6.1") .libPaths(c(file.path(Sys。 getenv( "SPARK_HOME")、 "R"、 "LIB")、.libPaths())) ライブラリ(デベロッパーツール) ライブラリ(magrittr) ライブラリ(SparkR) ライブラリ(デベロッパーツール) ライブラリ(sparklyr) ライブラリー( dplyr) ライブラリ(data.table) ライブラリ(DBI) #Sparkコンテキストの作成 slyr < - spark_connect(master = "yarn-client"、config = list()) –