spark-submit：コマンドが見つかりません

Question

非常に単純な質問：

私はspashジョブを送信するためにbashスクリプトを使用しようとしています。しかし何とかして、それは​​コマンドを見つけることができないと不満を続けています。 しかし、私はちょうどコマンドをコピーして、私の端末で直接実行すると、正常に動作します。

私のシェルは魚のシェルで、ここで私は私の魚貝の設定で持っているものです：~/.config/fish/config.fish：

#!/usr/bin/env bash 


SUBMIT_COMMAND="HADOOP_USER_NAME=hdfs spark-submit \ 
     --master $MASTER \ 
     --deploy-mode client \ 
     --driver-memory $DRIVER_MEMORY \ 
     --executor-memory $EXECUTOR_MEMORY \ 
     --num-executors $NUM_EXECUTORS \ 
     --executor-cores $EXECUTOR_CORES \ 
     --conf spark.shuffle.compress=true \ 
     --conf spark.network.timeout=2000s \ 
     $DEBUG_PARAM \ 
     --class com.fisher.coder.OfflineIndexer \ 
     --verbose \ 
     $JAR_PATH \ 
     --local $LOCAL \ 
     $SOLR_HOME \ 
     --solrconfig 'resource:solrhome/' \ 
     $ZK_QUORUM_PARAM \ 
     --source $SOURCE \ 
     --limit $LIMIT \ 
     --sample $SAMPLE \ 
     --dest $DEST \ 
     --copysolrconfig \ 
     --shards $SHARDS \ 
     $S3_ZK_ZNODE_PARENT \ 
     $S3_HBASE_ROOTDIR \ 
     " 

eval "$SUBMIT_COMMAND" 

私が試した何：

alias spark-submit='/Users/MY_NAME/Downloads/spark-2.0.2-bin-hadoop2.7/bin/spark-submit'

は、ここに私のbashスクリプトです このコマンドを文字通りコピーして直接実行すると、Mac OS Xの魚のシェルでこのコマンドを完璧に実行できます。 しかし、私が達成したいのは、上記のシェルを実行する./submit.sh -localを実行できることです。

お願いします。

Answer 1

魚エイリアスが何であるか混乱しているようです。これを実行すると：

alias spark-submit='/Users/MY_NAME/Downloads/spark-2.0.2-bin-hadoop2.7/bin/spark-submit' 

は、あなたが実際にこれをやっている：

ある

function spark-submit 
    /Users/MY_NAME/Downloads/spark-2.0.2-bin-hadoop2.7/bin/spark-submit $argv 
end 

は、あなたが魚の関数を定義しています。あなたのbashスクリプトにはその機能についての知識はありません。そのパスを$PATH変数に入れるか、bashスクリプトに同様の別名コマンドを入れる必要があります。