Pyspark

Question

Python interpreterが選択された構成のPython SDKにもかかわらずのIntelliJて可視認識されない：

我々はpysparkが利用可能（pipを介して）、そのPythonインタプリタに見えたことがわかります。

pythonインタプリタがを認識しません。しかし、パッケージ：pandas、numpy、sklearnなどすべての作業：

pysparkは、この問題に苦しむように見えるだけのパッケージです。では、pysparkの違いは何ですか？

Answer 1

次は、元の質問への答えではない本当にですが、それはまあまあである - とだけ部分 - この問題を回避します。

我々はRun configurationにいくつかの環境変数を追加する必要があります：SPARK_HOME、PYTHON_SUBMIT_ARGS（= pyspark-shell）特に

、およびPYTHONPATHが必要とされています。

に設定する必要があります。これはすべて pyspark run configuration ..ですが、最後の手段です。