Apacheはどのようにpythonマルチスレッドの問題を処理しますか？

Question

python's GILによると、私はCPUバインドされたプロセスでスレッドを使用できないので、私の質問は、どのようにApache Sparkがマルチコア環境でPythonを利用するのですか？

Answer 1

マルチスレッドのPythonの問題は、Apache Sparkの内部から分離されています。 Sparkの並列処理はJVM内部で処理されます。

その理由はPythonのドライバプログラムでは、SparkContextは、JVMを起動しJavaSparkContextを作成するためにPy4Jを使用していることです。

Py4Jは、PythonとJavaのSparkContextオブジェクト間のローカル通信用のドライバでのみ使用されます。大規模なデータ転送は、異なるメカニズムを介して実行されます。

PythonのRDD変換は、JavaのPythonRDDオブジェクトの変換にマップされます。リモートワーカーマシンでは、PythonRDDオブジェクトはPythonサブプロセスを起動し、パイプを使用してそれらと通信し、ユーザーのコードと処理されるデータを送信します。

PS：実際にあなたの質問に完全に回答するかどうかはわかりません。