ワーカーノードとマスターノードのPythonバージョンが異なる

Question

CentOS 6.7でspark 1.4.1を実行しています。 python 2.7とpython 3.5.1の両方にanacondaをインストールしてください。

はPYSPARK_PYTHONのENVのVARはpython3.5に設定されていることを確認しましたが、私は以下の例外を除いて、それエラーを簡単なRDD変換を行うpysparkシェルを開いて実行すると：

例外：Pythonのを作業員に異なるバージョン2.7以上を持っていますドライバ3.5では、PySparkは異なるマイナーバージョンでは実行できません

パスを変更する他の場所はなんですか？

Answer 1

新しい設定でSparkワーカーを再起動しましたか？ドライバープロセスの環境設定を変更するだけでは不十分です。ドライバーによって作成されたタスクは、プロセスを越えて実行されることがあります。これらのタスクはコンパイルされたビットのコードなので、両方のバージョンが一致する必要があります。