2017-03-29 6 views
1

Apache Spark 2.1.0をUbuntu 16.04 LTSにインストールしようとしています。私の目標はScalaとPythonを使ったHadoopを使ったスタンドアロンのクラスタです(2.7がアクティブです)Apache Spark:前提条件質問

ダウンロード中私は選択肢があります:Hadoop 2.7以降用のファイルです(ファイルはspark-2.1.0-bin-hadoop2.7 .tgzファイル)

  • このパッケージには、実際にHADOOP 2.7含まれていますか、それは(最初、私は仮定)を別途インストールする必要がありますか?

  • Java JRE 8がインストールされています(他の作業には必要です)。今2

デフォルト-jdkのxenial /、::1.8 JDK 8も同様に事前必要条件であると考えられるように、私はまた、実際にインストールされて表示さ「sudoはデフォルト-JDKをaptのインストール」でした-56ubuntu2 amd64の[インストール]

のjava -versionしかしJDK表示されませんチェック:

Javaバージョン "1.8.0_121" のJava(TM)SEランタイム環境(1.8.0_121-B13を構築する) Java HotSpot(TM)64ビットサーバVM(ビルド25.121-b13、混合モード)

これで十分ですか?なぜJDKも表示されないのですか?

  • 私はScala 2.12.1を使いたいです。このバージョンはSpark2.1/Hadoop 2.7の組み合わせでうまく動作するのですか、それとも別のバージョンが適していますか?

  • Scala SBTパッケージも必要ですか?

すべての機能を実行しようとしていますが、この時点で固まっています。

ホープ誰かがいくつかの光を当てることができます:)

答えて

1

あなたがインストールされているものは何でもより多くのHadoop-2.7をインストールする必要があります。

Java版が正常です。

上記の設定は、scala 2.12.1で動作するはずです。

+0

あなたの答えはありがたいです... Hadoop 2.8.0も使えますか?私はSBTをインストールしましたが、Spark用のScala 2.12.1もインストールする必要があります(コンパイルしないでバイナリを使いたい)。再度、感謝します! – Fredster

関連する問題