Apache Spark 2.1.0をUbuntu 16.04 LTSにインストールしようとしています。私の目標はScalaとPythonを使ったHadoopを使ったスタンドアロンのクラスタです(2.7がアクティブです)Apache Spark:前提条件質問
ダウンロード中私は選択肢があります:Hadoop 2.7以降用のファイルです(ファイルはspark-2.1.0-bin-hadoop2.7 .tgzファイル)
このパッケージには、実際にHADOOP 2.7含まれていますか、それは(最初、私は仮定)を別途インストールする必要がありますか?
Java JRE 8がインストールされています(他の作業には必要です)。今2
デフォルト-jdkのxenial /、::1.8 JDK 8も同様に事前必要条件であると考えられるように、私はまた、実際にインストールされて表示さ「sudoはデフォルト-JDKをaptのインストール」でした-56ubuntu2 amd64の[インストール]
のjava -versionしかしJDK表示されませんチェック:
Javaバージョン "1.8.0_121" のJava(TM)SEランタイム環境(1.8.0_121-B13を構築する) Java HotSpot(TM)64ビットサーバVM(ビルド25.121-b13、混合モード)
これで十分ですか?なぜJDKも表示されないのですか?
私はScala 2.12.1を使いたいです。このバージョンはSpark2.1/Hadoop 2.7の組み合わせでうまく動作するのですか、それとも別のバージョンが適していますか?
Scala SBTパッケージも必要ですか?
すべての機能を実行しようとしていますが、この時点で固まっています。
ホープ誰かがいくつかの光を当てることができます:)
あなたの答えはありがたいです... Hadoop 2.8.0も使えますか?私はSBTをインストールしましたが、Spark用のScala 2.12.1もインストールする必要があります(コンパイルしないでバイナリを使いたい)。再度、感謝します! – Fredster