SPARK_HOME変数をセットアップしてSPARK INSTALLATIONを設定する方法は？

Question

リンクhttp://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/0/index.htmlからのスパークリングウォーターの手順に従ってください。

ターミナルで実行：

〜/ InstallFile/SparklingWater /輝く - 水 - 2.2.0の$ビン/輝くシェル "spark.executor.memory = 1グラム" --conf

してくださいセットアップSPARK_HOMEあなたのSparkのインストールの変数、これを解決する方法。

Answer 1

あなたは、変数を設定するには、次のコードを実行し、UNIX端末において、SPARK_HOME変数をインストールして設定する必要があります。

export SPARK_HOME="/path/to/spark" 

インストールhttps://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm

Answer 2

のためにあなたは上の火花ランタイムをダウンロードする必要があります、これを参照してください。スパークリングウォーターを使用したいマシン。ローカルダウンロードか、クラスタ化されたスパーク、つまりHadoop上にある可能性があります。

SPARK_HOME変数は、スパークリング・ウォーターがスパーク・ランタイムを検出するディレクトリー/フォルダーです。私が輝くシェルを起動したときに、それが正常に動作し、次のように今

SPARK_HOME=/Users/avkashchauhan/tools/spark-2.1.0-bin-hadoop2.6 

$ pwd 
/Users/avkashchauhan/tools/sw2/sparkling-water-2.1.14 

次の設定SPARK_HOMEで

、私は、Spark 2.1は、ローカルマシンにダウンロードして設定されたパスは、以下のように解凍したスパーク2.1である必要があり：

~/tools/sw2/sparkling-water-2.1.14 $ bin/sparkling-shell                                               

----- 
    Spark master (MASTER)  : local[*] 
    Spark home (SPARK_HOME) : /Users/avkashchauhan/tools/spark-2.1.0-bin-hadoop2.6 
    H2O build version   : 3.14.0.2 (weierstrass) 
    Spark build version  : 2.1.1 
    Scala version    : 2.11 
----