作業員のHDFSから読み込む直列化不可能なオブジェクトを初期化する

Question

マップ操作内から直列化不可能なJavaオブジェクトを使用する必要があります。ドライバで最初に初期化しようとすると、「タスクはシリアル化できません」というエラーが表示されます。最適なオプションは、各分割に対してそれを宣言することですが、オブジェクトの初期化はHDFSからいくつかのファイルを読み込みます。それを可能にするには、私は労働者（NullPointerException）で利用できないように見えるsc.hadoopConfiguration変数が必要です。

労働者側のHDFSから読むことはできますか？もしそうなら、私はmapPartitionsを使って各パーティションのオブジェクトを初期化することができます。そうでない場合、最良のアプローチは何ですか？

Answer 1

あなたはSerializableWritableでsc.hadoopConfigurationをラップし、このようなあなたのコードでそれを使用することができます。

val hadoopConf = new SerializableWritable(sc.hadoopConfiguration) 
    sc.parallelize(1 to 1000, 4).mapPartitions { iter => 
    val conf = hadoopConf.value 
    ... 
    }