ツェッペリンSpark2

Question

私はClouderaのでSpark2とClouderaのバージョン5.10.1で

私はエラーを取得する「org.apache.zeppelin.interpreter.InterpreterExceptionを仕事にツェッペリンを設定しようとしていますと：選ぶ/ Clouderaの/小包/ SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/bin/spark2-submit/bin/spark-submit：ディレクトリではない "

明らかに"/bin/spark-submit "をパス。これを修正するにはどうすればよいですか？

Answer 1

あなたは「/opt/cloudera/parcels/SPARK2-2.1あるごスパークインストールのベースディレクトリに（あなたのツェッペリンのインストールのファイルのconf/zeppelin-env.shで）あなたの変数SPARK_HOMEを設定する必要があります。 0.cloudera1-1.cdh5.7.0.p0.120904/" （追加の）問題は「火花提出」対「spark2提出」の名前であるならば、私は/「は/ opt/Clouderaの/小包にSPARK_HOMEを設定

 
cd /opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/bin/ 
ln -s spark2-submit spark-submit 

Answer 2

とシェルのシンボリックリンクを作成しますSPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/"で十分ではないかもしれません。私はSPARK_HOMEを設定すると、私の場合はspark2はツェッペリンで仕事を始めた：spark2/libに

SPARK_HOME =は/ opt/Clouderaの/小包/ SPARK2/

* SPARK2がのその長い名前へのリンクあり小包。

私の答えをさらに発展させる。 @molotowのソリューションは、ツェッペリンに、このように私にエラーを与えた：それが動作する必要があるパスを検索しようとどのように「spark2提出」に関連している可能性があり

org.apache.zeppelin.interpreter.InterpreterException: /opt/cloudera/parcels/SPARK2/bin/spark-submit: line 17: //../../CDH/lib/bigtop-utils/bigtop-detect-javahome: No such file or directory 
/opt/cloudera/parcels/SPARK2/bin/spark-submit: line 19: //../lib/spark2/bin/spark-submit: No such file or directory 

。主に：

#!/bin/bash 
    # Reference: http://stackoverflow.com/questions/59895/can-a-bash-script-tell-what-directory-its-stored-in 
    SOURCE="${BASH_SOURCE[0]}" 
    BIN_DIR="$(dirname "$SOURCE")" 
    while [ -h "$SOURCE" ] 
    do 
    SOURCE="$(readlink "$SOURCE")" 
    [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE" 
    BIN_DIR="$(cd -P "$(dirname "$SOURCE" )" && pwd)" 
    done 
    BIN_DIR="$(cd -P "$(dirname "$SOURCE")" && pwd)" 
    CDH_LIB_DIR=$BIN_DIR/../../CDH/lib 
    LIB_DIR=$BIN_DIR/../lib 
export HADOOP_HOME=$CDH_LIB_DIR/hadoop 

誰かを助ける希望。 :)