YARNで複数のバージョンを実行するファット・ファー・ジャー

Question

YARNのスパーク・セットアップの旧バージョンを使用していますが、それでも新しいバージョンを使用したいと思っています。私は脂肪の瓶がこれのためにどのように使用できるのかを参照して投稿をcouple見つけました。

Many so postsファットジャーを作成するには、maven（公式にサポートされている）またはsbtのいずれかを指してください。downloadでは直接利用できないためです。 maven-assembly-plugin、maven-shade-plugin、onejar-maven-pluginなど複数のプラグインがあるようです。

しかし、本当にプラグインが必要かどうかはわかりませんもしそうなら、どれがどれだけ正確に行くのか。私は 'build/mvn'と 'build/sbt'を使ってgithubソースを直接コンパイルしようとしましたが、 'spark-assembly_2.11-2.0.2.jar'ファイルはわずか283バイトです。

私の目標は、hereと同様の方法で、新しいバージョンのfat jarを使ってpysparkシェルを実行することです。遠くjarファイルを作成するスパークバージョン2.0.0から

Answer 1

がもはやサポートされている、あなたはDo we still have to make a fat jar for submitting jobs in Spark 2.0.0?

でより多くの情報を見つけることができませんあなたのケースで推奨される方法（YARN上で実行されている）は、スパークの内容でHDFS上のディレクトリを作成することですjars/ディレクトリとspark-defaults.confにこのパスを追加します。

spark.yarn.jars hdfs:///path/too/jars/directory/on/hdfs/*.jar 

を次にあなたがpysparkを実行する場合、それは正確にスパーク1.xのから脂肪ジャーのように動作しますので、それは以前にアップロードしたライブラリを使用しますシェル

Answer 2

（YARNアーキテクチャにあなたのスパークを変更し、あなたのYARNの管理者に話すことなく）最も簡単な解決策は、以下のとおりです。

1. それはSBTやMavenも、ビルドシステムにスパーク2上のライブラリの依存関係を定義します。

2. Sparkアプリケーションを組み立てて、内部にSparkライブラリを持ついわゆるuber-jarまたはfatjarを作成します。

私は個人的にプロジェクトで少なくとも1回テストしました。

これは、ビルド処理に時間がかかります（sbt assemblyではなくsbt packageである必要があります）、Sparkアプリケーションの配備可能なfatjarのサイズは...まあ...もっと大きくなります。また、ワイヤーでYARNするには​​する必要があるので、展開が長くなります。

これはすべて機能しますが、時間がかかります（ClouderaのCDHやHortonworksのHDPやMapRディストリビューションなどの商用サービスで利用できるものについて忘れてしまいます）。