スパーク：スレーブのドライブサイズを増やす方法

Question

スレーブが100GBのドライブを持つクラスタを起動する方法を教えてください。

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \ 
--zone=us-east-1b --spark-version=1.6.1 \ 
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \ 
launch cluster-test 

私は、100GBのサイズを持つAMIを使用しました。スパークはそれをサイズ変更し、8GBのドライブを開始しました。その制限を100GBに増やすにはどうすればよいですか？

Answer 1

これは問題を解決しますが、最初にこの問題が発生しないようにするための解決策を探しています。

EBSボリュームは100GBですが、そのイメージはわずか8GBです。それが8GBとしか見えない理由です。ディスク全体に画像を広げるには、この方法を詳しく説明しているblogを参照してください。さらに、SO answerも役に立ちます。