スピンアップする方法スパークEC2クラスタをHadoopのと2.6

Question

私はHadoopの私が試したものを2.6

-Hereでスパーク1.6.1上で実行されているスパークEC2のクラスタを取得しようとしています。しかし

./spark-ec2 -i ~/.ssh/***.pem \ 
--instance-profile-name *** \ 
-k *** \ 
--region=us-east-1 \ 
--instance-type=m3.xlarge \ 
-s 2 \ 
--copy-aws-credentials \ 
launch test-cluster 

これは、Hadoop 1.0をインストールしたものです。

--hadoop-major-version=2 \ 

しかし、私はすぐに正しく自分のアプリケーションを実行するために、私はHadoopの2.6が必要であることを実現：だから私は、上記のコマンドに次のオプションを追加しました。私は--hadoop-major-verison = yarnを渡すことができましたが、それはHadoop 2.4のみをインストールします。

誰も私にこの簡単な方法を教えてもらえますか？

Answer 1

最近では、AWS Command-Line Interface (CLI)を使用することをお勧めします。

参照：AWS CLI documentation for EMR create-cluster

しかし、1.6.1およびHadoopの2.6スパーク持っEMR AMIの組み合わせは存在しません。最も近いのはemr-4.7.1で、Spark 1.6.1とHadoop 2.7.2があります。

参照：AWS EMR Releases、このダイアグラムを示しています。EMRを使用しない理由