小さなデータフレームに存在する大きなデータフレームのエントリを効率的にフィルタリングする

Question

id、name、比較的小さなデータフレーム（〜20kエントリ）の2つのカラムを含む比較的大きなデータフレーム（〜3.2テラバイト）それは、単一の列が含まれています。私は何をしようとしているID

は、私は、効率的な解決策になるかと思った彼らは、小さなデータフレーム

に表示された場合、大きなデータフレームからのIDと名前の両方を取ることですこれを稼働させるにはなぜですか？私が念頭に置いていたいくつかのオプション：

1. 放送は2つのデータフレーム
2. 放送に小さなデータフレームを結合し、文字列の配列としてそれを収集し、その後、大きなデータフレームにフィルタを適用し、文字列
の配列とISINを使用します

私がここで言及しなかった他のオプションはありますか？

具体的な解決策は、そのすべて私の知る限り、事前

Answer 1

に他の

おかげでより効率的である理由誰かがまた説明できる場合、私はそれを感謝しますが、あなたが扱っているデータのサイズと性能に依存します

• あなたがbroadcast機能を使用する場合、デフォルトのサイズは10メガバイト（spark.sql.autobroadcastjointhreshholdを経由して、あなたの小さなデータフレームのためには、my answerを参照）で、あなたのデータに基づいてサイズを増減することができます。また、キャストされたデータはSQL実行計画の一部になり、さらに最適化を行うための触媒オプティマイザへのポインタになります。私の答えを参照してくださいhere

• ブロードキャスト共有変数（あなたが使用したいisin）は、上記の利点を持っていません。

のplsは