Hadoop糸2.7.2クラスタでSpark 1.6.2と2.0.0の両方をサポートする公式の方法はありますか？

Question

Spark 1.6.2でダイナミックアロケーションが有効になっているHadoop糸2.7.2を実行しているクラスタがあります。

Spark 1.6.2と2.0.0の両方をサポートする正式な方法はありますか？私はスパーク2.0.0クライアントからの申請書を提出しようとしたとき、例外は以下のようにドライバーに起こったので：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J 
    at org.apache.spark.internal.config.ConfigHelpers$.byteFromString(ConfigBuilder.scala:63) 
    at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197) 
    at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197) 
    at org.apache.spark.internal.config.TypedConfigBuilder.createWithDefaultString(ConfigBuilder.scala:131) 
    at org.apache.spark.internal.config.package$.<init>(package.scala:41) 
    at org.apache.spark.internal.config.package$.<clinit>(package.scala) 
    at org.apache.spark.deploy.yarn.ApplicationMaster.<init>(ApplicationMaster.scala:69) 
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:785) 
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:71) 
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:70) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) 
    at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:70) 
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:784) 
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala) 

Answer 1

この機能はHortonworkのHDP分布によってサポートされている、私はHadoopの2.7をサポートしているHDP 2.5を実行しているクラスタを、持っています.3、CentOS7のスパーク1.6.2と2.0.0。

SparkとSpark2ジョブの使用中に問題は発生しませんでした。

どのようにSparkのバージョンをインストールして設定しましたか？あなたはHDP sandboxを試してみて、自分のクラスター用にSpark & Spark2がどのように設定されているかをインスピレーションとして使うことができます。