Sparkを新しいバージョンにアップグレードするにはどうすればいいですか？

Question

私はSpark 1.3を持つ仮想マシンを持っていますが、それをSpark 1.5にアップグレードしたいのは、主に1.3でサポートされていた特定の機能のためです。可能であればSparkのバージョンを1.3から1.5にアップグレードすることはできますか？はいの場合、どうすればいいですか？

Answer 1

another question of yoursに基づいて使用していると思われる、あらかじめ作成されたSparkディストリビューションは、Sparkが実際には「インストールされていない」ため、「アップグレード」するのはやや簡単です。実際には、あなたがしなければならないすべては、次のとおりです。

• Download適切なスパークディストリビューション
• を解凍し、適当なディレクトリにtarファイル（iewhereフォルダspark-1.3.1-bin-hadoop2.6（あなたの場合には、後でHadoopの2.6のためにあらかじめ構築されたと）すでに
• はここに応じ

あなたSPARK_HOME（とあなたの設定に応じて、おそらくいくつかの他の環境変数）を更新）私はただの設定で、1.3.1から1.5.2に行くために、自分自身をやったことですあなたのものに似ています（迷路Ubuntuを使用してVM）：

1）あなたはwgetを使用する必要があり、正確なミラーがあなたの場所に応じて、私よりおそらく違うだろうという

vagrant@sparkvm2:~$ cd $SPARK_HOME 
vagrant@sparkvm2:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd .. 
vagrant@sparkvm2:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema 
ipcontroller ipengine2  ipython pygmentize 
vagrant@sparkvm2:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz 
[...] 
vagrant@sparkvm2:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema spark-1.5.2-bin-hadoop2.6.tgz 
ipcontroller ipengine2  ipython pygmentize 

お知らせ適切なディレクトリにtarファイルをダウンロードしてください。ダウンロードするパッケージの種類を選択した後、download pageにある "Download Spark"リンクをクリックしてください。

2）あなたは今、新しいフォルダ、spark-1.5.2-bin-hadoop2.6を持っていることがわかります

vagrant@sparkvm2:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz 
vagrant@sparkvm2:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema spark-1.5.2-bin-hadoop2.6 
ipcontroller ipengine2  ipython pygmentize spark-1.5.2-bin-hadoop2.6.tgz 

とtgzファイルを解凍します。

3）それに応じて、以前のバージョンではなくこの新しいディレクトリを指すようにSPARK_HOME（使用している可能性のある他の環境変数）を更新します。

これで、マシンを再起動してください。あなたがいる限り、関連するすべての環境変数が新しいものを指すように、以前のスパーク配布を削除する必要はありません

1. ：という

   は注意してください。そうすれば、テストする（つまり関連する環境変数を変更する）場合に備えて、旧バージョンと新バージョンの間で「前後」をすばやく移動することもできます。私の場合には

2. sudoが必要でした。あなたの設定に応じてあなたのために不必要かもしれません。
3. すべて正常に動作することを確認したら、ダウンロードしたtgzファイルを削除することをお勧めします。
4. まったく同じ手順でSparkの将来のバージョンにアップグレードすることができます（かなり速くなります）。これを行う場合は、以前のtgzファイルが削除されていることを確認するか、上のようにワイルドカードを使用しないで指定してください。

Answer 2

1. 設定し、あなたのSPARK_HOME/opt/spark
2. Downloadの最新事前に構築されたバイナリすなわちspark-2.2.1-bin-hadoop2.7.tgzからln -s /opt/spark-2.2.1 /opt/spark̀

---

- 最新のダウンロードへのシンボリックリンクを作成しますwget

を使用することができます新しいバージョンをダウンロードするたびに、単にt彼はそれへのシンボリックリンク（ステップ3）

• ln -s /opt/spark-x.x.x /opt/spark̀