CDHから既存のHadoop 2.6クラスタ上で動作するようにsparkを構築する方法

Question

バージョンhadoopのバージョンがHadoop 2.6.0-cdh5.4.2の既存のHadoopクラスタがあります。私は、既存のSpark（バージョン1.5.1）をそのクラスタ上で実行しています。しかし、私はいくつかのコードを変更してSpark 2.0/Spark 2.1を使いたいと思います。

更新

私は理論的には、私は、（+ Hadoopの-2.6）スパーク-2.0をダウンロードすることができconf/spark-env.shにHADOOP_CONF_DIRを変更し、

./bin/spark-shell --master yarn 

ような何かを行うことcloudera forumsから発見しました基本的には、Spark-2.0をクラスタ上で実行させます。しかし、それはまだ動作しません。私は潜在的な解決策が不足しているので、ここに来たのです。

Answer 1

Spark 2.0ベータ版はすぐにClouderaから入手できます。パーセルを介してCloudera Managerが管理するクラスタに簡単にインストールすることができます。