Spark scalaのエグゼキュータ間でオブジェクトをブロードキャストする方法は？

Question

私は変数の値をブロードキャストできると確信していますが、エグゼキュータ間でドライバで作成されたオブジェクトをブロードキャストする方法がわかりません。 ScalaプログラムでサードパーティのJavaクラスのオブジェクトを作成しています。私は、クラスの同じインスタンスを複数のオブジェクトを作成するのではなく、すべてのエグゼキュータに共有したいと考えています。

私は、ブロードキャスト方法が変数の値をブロードキャストするために使用できることを発見しました。しかし、それがオブジェクトを放送するために使用できるかどうかはわかりません。あなたの提案を投稿してください。

Answer 1

ブロードキャストでは、オブジェクトもブロードキャストできます。ブロードキャストのAPIを参照してください。

broadcast[T](value: T)(implicit arg0: ClassTag[T]): Broadcast[T] 
Broadcast a read-only variable to the cluster, returning a  org.apache.spark.broadcast.Broadcast object for reading it in distributed functions. 

ブロードキャスト変数は読み込み専用であるため、ブロードキャスト変数は同じインスタンスまたは別のものであることを心配する必要があります。