Spark Driverがローカルファイルを読み取る理由

Question

私はSpark Cluster Standaloneを使用しています。

マスタとスレーブは同じサーバ（サーバB）にあります。

Luigi（サーバーA）を使用してアプリケーションを送信し、展開（クライアントモード）します。

私のアプリケーションはサーバBのローカルファイルを読み込みます。しかし、アプリケーションはサーバAでもファイルを読み込もうとします。なぜですか？

sc.textFile('/path/to/the/file/*') 

Answer 1

クライアントモードでは、ドライバはアプリケーションを送信するクライアントと同じプロセスで起動されます。

ただし、クラスタモードでは、ドライバはクラスタ内のWorkerプロセスの1つから起動されます。

クラスタモードを使用する必要があります。