SpringコンテキストをSparkワーカーノードに渡す方法

Question

私はSparkの新機能で、ワーカーノードに渡す必要のあるSpringコンテキスト（ClassPathXmlApplicationContextを使用してアプリケーションコンテキストにXMLをロードする）を持っています。私はSparkのコンテキストを作成し、私のflatMapとnullで同じものを使用しようとしています。とにかくこれをFlatmap関数に渡すことができますか？私は、この春の文脈の必要性を喚起する別のフレームワークを呼びたいと思っています。ここで

は、私はそのヌルFlatMapFunction内でコンテキストを使用しようとしていますいくつかのコード

ApplicationContext context = new ClassPathXmlApplicationContext("spring/rules-engine-spring.xml"); 

JavaRDD<Row> partitions = r.mapPartitions(
    new FlatMapFunction<Iterator<Row>, Row>() { 
     public Iterable<Row> call(Iterator<Row> rowIterator) throws Exception { 

      List<Data> factList = new ArrayList<Data>(); 
      while (rowIterator.hasNext()) { 
       Row rw = rowIterator.next(); 
       Data fact = new Data(); 
       fact.setGrain(rw.getString(0)); 
       fact.setRoute(rw.getString(1)); 
       factList.add(fact); 
      } 
      Iterable itr = new Iterable() { 
        List l = new ArrayList<Integer>(); 

        public Iterator iterator() { 
         return l.iterator(); 
        } 
       }; 
      return itr; 
     } 

    }); 
List result=partitions.collect(); 

です。このメソッドの外部には、コンテキストに値があります。どんな助けもありがとう。

Answer 1

変数を一時的にすると、シリアル化されず、ワーカーで利用できなくなります。これは、flatMap内のnullを説明します。シリアライザがクラスをピックアップして（そしてトランジェントを削除する）ことを確認する必要があります。 Serializableではないにもかかわらず、クラスを直列化するためにkryoを使用できるかもしれません。

経由http://apache-spark-user-list.1001560.n3.nabble.com/Un-serializable-3rd-party-classes-Spark-Java-td7815.html：いくつかのオプションがあります

：

• がKryoは、それらの内部で何によっては、箱から出して、これらのオブジェクトをシリアル化することができるかもしれません。詳しくは、http://spark.apache.org/docs/latest/tuning.htmlの説明に従ってオンにしてください。
• これでうまくいかない場合は、Serializable、またはFlexCompRowMatrixのサブクラスを実装する独自の「ラッパー」オブジェクトを作成できます。元のライブラリを変更する必要はありません。
• ライブラリに独自のシリアル化関数がある場合は、ラッパーオブジェクト内の関数を使用することもできます。 HadoopのWritablesをシリアライズ可能にする例については、https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SerializableWritable.scalaを参照してください。