初めてSparkをインストールして初めてインストールしようとしました。私はhomebrewをダウンロードし、Mavenをインストールしました。Mavenを使ってSparkをインストールする(MAC OSX)
私は、インストールを確認するために、次が正しく行われていた実行しています
コマンド:maven - v
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T16:41:47+00:00)
Maven home: /usr/local/Cellar/maven/3.3.9/libexec
Java version: 1.8.0_111, vendor: Oracle Corporation
Java home: /Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home/jre
Default locale: en_GB, platform encoding: UTF-8
OS name: "mac os x", version: "10.12.3", arch: "x86_64", family: "mac"
しかし
、私は次のコマンドを使用して火花を構築しよう:
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
を
このエラーが発生します:
-bash: ./build/mvn: No such file or directory
UPDATE:
私はここから自作でスパークをinstaling上の指示に従うようになった:
https://medium.com/@josemarcialportilla/installing-scala-and-apache-spark-on-mac-os-837ae57d283f#.ru5hi42v3 •これは、私は、端末を再起動それまではうまく働きました。私は
火花シェル を実行すると、私が得る:
/usr/local/Cellar/apache-spark/2.1.0/libexec/bin/spark-shell: line 57: /usr/local/Cellar/apache-spark/2.0.1/libexec/bin/spark-submit: No such file or directory
これを解決するための任意のポインタをお願い申し上げます。
UPDATE
私はこれに私の.bash_profileを更新しました。それでも同じエラーを取得
。しかし、私はターミナル経由でフォルダに行くことで直接ファイルにアクセスすると、私はそれを開くことができます。
パスにmavenを追加しましたか? export PATH = $ PATH:$ HOME/apache-maven-3.3.9/bin – Pushkr
nanoを使って自分の.bash_profileに追加しました。それでも同じこと。これはhombrewを使用することと関係があり、 "cellar"にインストールされていますか? –
パスに追加した後でも、bashプロファイルをソースにして、 'source〜/ .bash_profile'コマンドを実行する必要があります。これは、./build/mvnのようなコマンドを使わずにどこでもmvnを使用できるようにします。 mvnがbuild.sbtファイルをビルドするためのsparkのソースコードフォルダにあるはずです。また、apache-spark用の調合式もあります。あなたは単に "brew install apache-spark"コマンドを試してみてください。 – Pushkr