pipインストール後にpysparkを実行するpyspark

Question

私の家のマシンにpysparkをインストールしたかったのですが、私はした

両方がうまくいくように見えました。

しかし、私はpysparkを実行しようとすると、私は

pyspark 
Could not find valid SPARK_HOME while searching ['/home/user', '/home/user/.local/bin'] 

SPARK_HOMEに何を設定する必要があり得ますか？

Answer 1

PyPiからのPyspark（すなわち、pipと一緒にインストールされている）は完全なPyspark機能を含んでいません。既存のクラスタ内のSparkインストールでの使用のみを目的としています。 docs：

SparkのPythonパッケージは、他のすべてのユースケースを置き換えるものではありません。このPythonパッケージ版のSparkは、既存のクラスタ（Sparkスタンドアロン、YARN、またはMesos）と対話するのに適していますが、独自のスタンドアロンSparkクラスタをセットアップするのに必要なツールは含まれていません。 Sparkの完全版は、Apache Sparkのダウンロードページからダウンロードできます。

注：あなたはスパークスタンドアロンクラスタでこれを使用している場合は、 （マイナーバージョンを含む）のバージョンが一致していることを確認する必要がありますまたはあなたが 経験奇妙なエラー

あなたは完全なスパークをダウンロードする必要がありますことを記載されているような分布here。