Apache Sparkを実行しています。古いバージョンのクラスタの最新バージョン

Question

私はApache Spark 1.5.0でCloudera CDH 5.2.2クラスタを持っています。

Apache Spark 2.0 with Dataset APIを使用してこのクラスタアプリケーションを実行する方法はありますか？クラスタ設定は変更しないことが望ましいです。

maven-shade-pluginsを使って、JAR Spark 2.0.0に組み込みを実行しようとしましたが、動作しません（NoSuchMethodException）。

Answer 1

Spark 2.0.0の機能を使用する場合は、クラスタにはSpark 2.0.0を実行する必要があります。私はこれのための回避策はないと思う。 NoSuchMethodExeceptionのような例外がスローされるのは、使用しているメソッドのメソッドまたはシグネチャが1.5.0から2.0.0に変更され、クラスタがそれらを理解できないためです。