bin/pysparkを実行するときにこのプログラムエラーを実行する前にSparkを構築する必要があります

私はSparkを使い始めています。bin/pysparkを実行するときにこのプログラムエラーを実行する前にSparkを構築する必要があります

sparkを起動するときに問題が発生しています。

私は、セットアップsparkhomeをダウンロードしている、と私はbinディレクトリから./pysparkを実行しようとしたとき、私はこのエラーを取得する私はこのhttps://spark.apache.org/docs/0.9.0/quick-start.html

からクイックスタートしようとしています、火花公式ウェブサイトからダウンロード：。

[email protected]:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark 
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory 
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10. 
You need to build Spark before running this program. 
[email protected]:~/Downloads/spark-1.5.0/bin$

誰でも私にこれを理解させる助けができますか？

出典

2015-11-09 Soundarya Thiagarajan

ソース配布を使用する場合は、最初にSparkをビルドする必要があります。詳細はBuilding Sparkにあります。

そうでない場合は、単にダウンロードから（事前に構築された選択）バイナリディストリビューションをダウンロードしてください：

はまた時代遅れのドキュメントを使用しないでください。

http://spark.apache.org/docs/latest

または

http://spark.apache.org/docs/1.5.0

出典

2015-11-09 08:40:45 zero323

こんにちは、お返事ありがとうございます。私はそれを実行しようとしました。 15/11/09 14時28分03秒ERROR NettyTransport：エラーがSparkContextの初期化：ネッティー輸送 15/11/09 14時28分03秒ERRORのSparkContextをシャットダウン、/192.168.0.109:0に結合しませんでした。 java.net.BindException：バインドに失敗しました：/192.168.0.109:0：16回の再試行後にサービス 'sparkDriver'が失敗しました！ py4j.protocol.Py4JJavaError：None.org.apache.spark.api.java.JavaSparkContextの呼び出し中にエラーが発生しました。：java.net.BindException：バインドに失敗しました：/192.168.0.109:0：16回の再試行後にサービス 'sparkDriver'が失敗しました！ –

私はspark-1.5.0-bin-hadoop2.4/bin –

あなたのconf/spark-env.shファイルに何をダウンロードしましたか？スパークシェルを先に開けてみましたか？（bin/spark-shell） – AkhlD

zero323のような火花のプレビルドバージョンをダウンロードして特定のバージョンが提案：あなたは、どちらかの最新使用することができます。また、sudoモードでsparkを実行するのは良い方法ではありません。

出典

2015-11-09 09:02:45 AkhlD

こんにちは、私は示唆しているようにダウンロードしようとしました：spark-1.5.0-bin-hadoop2.4（prebuild version）..しかし、まだ私はエラーを抑えました.. OpenJDK 64ビットサーバーVM警告：情報：os :: commit_memory（0x00000007d5500000、716177408、0）が失敗しました。エラー= 'メモリを割り当てることができません'（errno = 12）＃＃Java Runtime Environmentを継続するにはメモリが不足しています。＃ネイティブメモリ割り当て（malloc）は、予約済みメモリをコミットするために716177408バイトの割り当てに失敗しました。＃詳細情報を含むエラーレポートファイルは、＃/home/soundarya/Downloads/spark-1.5.0/hs_err_pid18440.log –

として保存されます。マシンにはどのくらいのメモリがありますか？そのJVMヒープエラーは、スパークとは関係ありません。 conf/spark-defaults.confファイルでspark.driver.memoryとspark.executor.memoryを設定することができます。あるいは単に端末から_JAVA_OPTIONS = -Xmx1gをエクスポートしてください。 – AkhlD

エクスポートしました_JAVA_OPTIONS = -Xmx1g;拾い上げた_JAVA_OPTIONS：-Xmx1g 例外（「そのポート番号を送信する前にJavaゲートウェイプロセスが終了しました」）例外：ドライバをそのポート番号に送信する前にJavaゲートウェイプロセスが終了しました >>> ＃ Java Runtime Environmentを続行します。 –

bin/pysparkを実行するときにこのプログラムエラーを実行する前にSparkを構築する必要があります

答えて

関連する問題