sparkドライバかexecutorがデータベース接続を作成していますか？

Question

すべてのエグゼキュータはDB接続を作成し、データを並行してダウンロードしますか？または、データのダウンロードを担当し、その後エグゼキュータの間でテーブルを共有したドライバですか？ DataFrameReader.jdbcの

Answer 1

ドキュメントが明示的に述べ：テーブルの

パーティションが、この関数に渡されたパラメータに基づいて、並列に検索されます。大規模なクラスタ上に並行して多数のパーティションを作成しないでください。それ以外の場合、Sparkは外部データベースシステムをクラッシュさせる可能性があります。

これはまた、エグゼキュータが独自の接続を持つことを意味します。