Windows 10でPySparkをインストールした後の問題

Question

約1年前にUdemyコースから、Jupiter Notebookで使用しているWindows 10のノートパソコンでPySpark（ver 1.1）をインストールしました。 1年後、Anaconda 3などを再インストールしなければなりませんでした。スパークコマンドを実行する以外はすべてが正常に動作するように見えました。私は次のコマンドでPysparkをインストールしました：conda install -c conda-forge pyspark。今、私はすべての私のUdemyスクリプトを使用しようと、私は次を得る：

Exception Traceback (most recent call last) <ipython-input-5-03dc2d316f89> in <module>()1 sc = SparkSession.builder.appName('Basics').getOrCreate() 

~\Anaconda3\lib\site-packages\pyspark\sql\session.py in getOrCreate(self) 

167      for key, value in self._options.items(): 
168       sparkConf.set(key, value) 
169      sc = SparkContext.getOrCreate(sparkConf) 
170      # This SparkContext may be an existing one. 
171      for key, value in self._options.items(): 

私は2.2.0版最新PySparkをインストールし、そして混乱応答のスルーと私は基本的にこの同じ質問。私が指摘したように、私は1年前にこの勝利10の箱にPySparkの古いバージョンを走らせました。

アイデアやヒントはありますか？ PyPIまたはアナコンダから

Answer 1

Pyspark（すなわちpip又はcondaと共にインストール）ないがフルPyspark機能を含むん。すでに存在するクラスタ内のSparkインストールでの使用のみを目的としており、その場合はavoid downloading the whole Spark distribution locallyが必要になる場合があります。 PyPi docs（この情報はあまりにも、Anaconda Cloudにする必要がありますが、残念ながらそうではない）から：

スパーク用のPythonパッケージは、 他の使用例すべてに代わるものではありません。このPythonパッケージ版のSparkは、 既存のクラスタ（Spark standalone、YARN、または Mesos）との対話に適していますが、独自の スタンドアロンSparkクラスタのセットアップに必要なツールは含まれていません。 Apache Spark downloads pageからSpark のフルバージョンをダウンロードできます。

したがって、上記のリンクから完全なSparkディストリビューション（Pysparkは不可欠な部分です）をダウンロードしてください。 pip/condaオプションがSpark 2.1で最近利用可能になったため、これはまさにあなたが過去にしたことです。