pysparkでのラージオブジェクトの使用

Question

pysparkのメモリ管理に関する質問があります。

私は大規模な読み取り専用辞書を持っています。これはMapReduceの各マッパーによって照会可能でなければなりません。このグローバルオブジェクトは非常に大きく、各マッパーのメモリに収まらない。

このユースケースを実装するためのベストプラクティスは何ですか？私の試みは今のところ失敗しています。

ありがとう、

Ido。

Answer 1

オブジェクトのサイズによって異なります。

• メモリよりもはるかに大きい場合は、RDD/DataFrameを使用して結合する方がよいでしょう。
• かなり小さい場合は、ファイルに書き込むことができます（たとえば、shelve）。ファイルを配布します。スパークはそのために使用することができるSparkFilesメカニズムを持っています。

  トラブルに、

  事は各マッパーは、各反復で全体の辞書RDDをスキャンする必要があるということである私を：

私はあなたのコメントのこの部分があることを認めざるを得ません。その場合の私の最初の推奨事項は、より良いアルゴリズムを検索することです。