は常にスパークにキャッシュされ、

Question

を追い出されることは決してありません私は、非直列化可能なオブジェクトを持っていると私は、そのオブジェクトがメモリ内にすべての時間を、キャッシュされた100％にする必要があります。しかし、スパークジョブとして、それがディスクにキャッシュされたオブジェクトを立ち退かしようとすると、オブジェクトが直列化可能ではないので、私は「仕事ではないシリアライズ可能な」例外が発生します。増加ロードに起因する多くの実行メモリが必要となりますとにかく、私のオブジェクトを常にキャッシュに保存するように強制するための強制はありますか？

Answer 1

これは正しい方向ではありません。キャッシュされていても、リモートノードがフェッチしようとしているときにシリアル化する必要があります。あなただけ常にエグゼキュータ側でそれをキャッシュしたい場合は、なまけ静的オブジェクトとして、それらを作成するためにJavaでScalaのか、シングルトンパターンでコンパニオンオブジェクトを使用することができます。