スパーク非同期ジョブがエラーで失敗する

Question

私はjavaでスパークするコードを書いています。私はforeachAsyncを使用すると火花が失敗し、私にこのコードではjava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

を与える：

JavaSparkContext sparkContext = new JavaSparkContext("local","MyAppName"); 
    JavaPairRDD<String, String> wholeTextFiles = sparkContext.wholeTextFiles("somePath"); 
    wholeTextFiles.foreach(new VoidFunction<Tuple2<String, String>>() { 
     public void call(Tuple2<String, String> stringStringTuple2) throws Exception { 
      //do something 
     } 
    }); 

それは正常に動作します。しかし、このコードでは：

JavaSparkContext sparkContext = new JavaSparkContext("local","MyAppName"); 
    JavaPairRDD<String, String> wholeTextFiles = sparkContext.wholeTextFiles("somePath"); 

    wholeTextFiles.foreachAsync(new VoidFunction<Tuple2<String, String>>() { 
     public void call(Tuple2<String, String> stringStringTuple2) throws Exception { 
      //do something 
     } 
    }); 

エラーを返します。どこが間違っている？

Answer 1

foreachAsyncはFutureオブジェクトを返し、関数を残すと、（ローカルに作成されているため）スパークコンテキストが閉じられます。

get()をforeachAsync()に電話すると、メインスレッドは未完了を待ちます。