nullを取得する収集後にスパークマップ操作のグラフフィールド

Question

apache SparkでJava + Scalaを使用する。 私はヘルパークラスを使用してスカラグラフに変換javaRDDsの一部の文字列データ（textdata変数）を有する：

SparkConf = new SparkConf(true); // also set parameters, etc 
JavaSparkContext sc = new JavaSparkContext(conf); 
JavaRDD<Graph<String, Object>> graphs = textdata.map(new GraphConverterClass(JavaSparkContext.toSparkContext(sc))); 

List<Graph<String,Object>> graphsList = graphs.collect(); 

コンバータクラスは、機能インタフェースを実装し、それが呼び出しがあります

public Graph<String, Object> call(String data) 
{ 
Graph<String,object> mygraph = someFunc(data,sc); 
return mygraph; 
} 

を

これを実行すると、コンバータークラスの中で私はmygraphの結果を見ることができます。

しかし、ドライバプログラムで収集するリストでは、グラフの数が正しくても、それぞれの頂点と辺のフィールドはnullです。

上記のシナリオでGraphの代わりに別のダミークラスを使用すると、そのフィールドの値が保持されます。

なぜグラフオブジェクトが正しく収集されないのですか？

Answer 1

textDataがRDDの場合、mapのSparkContextで閉じる関数はサポートされていません。

SparkContextは、排他的にドライバに存在するオブジェクトであり、エグゼキュータでは「null」です。同じ問題は、その演算の結果の型でスポッティングすることが可能

（それがSerializationExceptionを与えないことは驚くべきことだ）： JavaRDD<Graph<String, Object>>ネストされたRDDSは概念的に定義されていません。

可能な解決策の1つは、VerticesとEdges RDDを作成し、Graphコンストラクタを使用してターゲットグラフを構築するという観点からプロセスを再考することです。