SparkContextがすべての処理を終了するのを待つ方法は？

Question

SparkContextに内容が実行されていて、すべて終了したらどうすれば止めるのですか？現在、私はSparkContext.stopを呼び出す前に30秒待っています。さもなければ、私のアプリはエラーをスローします。

import org.apache.log4j.Level 
import org.apache.log4j.Logger 
import org.apache.spark.SparkContext 

object RatingsCounter extends App { 

    // set the log level to print only errors 
    Logger.getLogger("org").setLevel(Level.ERROR) 

    // create a SparkContext using every core of the local machine, named RatingsCounter 
    val sc = new SparkContext("local[*]", "RatingsCounter") 

    // load up each line of the ratings data into an RDD (Resilient Distributed Dataset) 
    val lines = sc.textFile("src/main/resource/u.data", 0) 

    // convert each line to s string, split it out by tabs and extract the third field. 
    // The file format is userID, movieID, rating, timestamp 
    val ratings = lines.map(x => x.toString().split("\t")(2)) 

    // count up how many times each value occurs 
    val results = ratings.countByValue() 

    // sort the resulting map of (rating, count) tuples 
    val sortedResults = results.toSeq.sortBy(_._1) 

    // print each result on its own line. 
    sortedResults.foreach { case (key, value) => println("movie ID: " + key + " - rating times: " + value) } 

    Thread.sleep(30000) 

    sc.stop() 
} 

Answer 1

スパークアプリケーション代わりscala.Appを拡張するmain()方法を定義する必要があります。サブクラスのscala.Appが正しく動作しないことがあります。

あなたがアプリケーションを拡張しているので、予期しない動作が発生しています。

詳細については、Self Contained Applicationsの公式ドキュメントを参照してください。

AppはDelayedInitを使用し、初期化の問題を引き起こす可能性があります。主な方法で、あなたは何が起こっているのか知っています。 Excerpt from reddit.

object HelloWorld extends App { 
    var a = 1 
    a + 1 
    override def main(args: Array[String]) { 
    println(a) // guess what's the value of a ? 
    } 
}