外部H2Oバックエンドで発火する水を実行する

私は、外部バックエンドで発火する水を実行するステップをhereから実行していました。私はspark 1.4.1、sparkling-water-1.4.16を使用しています。私は拡張h2o jarをビルドし、H2O_ORIGINAL_JARとH2O_EXTENDED_JARシステム変数をエクスポートしました。私は外部H2Oバックエンドで発火する水を実行する

java -jar $H2O_EXTENDED_JAR -md5skip -name test

とH2Oのバックエンドを開始しかし、私は

import org.apache.spark.h2o._ 
val conf = new H2OConf(sc).setExternalClusterMode().useManualClusterStart().setCloudName("test”) 
val hc = H2OContext.getOrCreate(sc, conf)

でH2OConfを取得しよう

./bin/sparkling-shell

とその中を経由してスパークリングウォーターを起動したときには、と二行目で失敗します

<console>:24: error: trait H2OConf is abstract; cannot be instantiated 
    val conf = new H2OConf(sc).setExternalClusterMode().useManualClusterStart().setCloudName("test") 
      ^

私は--jarsパラメータを持つ新しくビルドされた拡張h2o jarを、炭酸水やスタンドアロンのスパークに進まずに追加しようとしました。誰にもヒントはありますか？

出典

2017-03-29 JaKu

チュートリアルのみです'sparkling-water-1.4.16'の時代にはまだクラスが抽象的だったため、このように使用できなくなりました。 – JaKu

外部クラスタは2. + SWバージョンでのみサポートされるようになりました（SW1.6で拡張される予定です）。 1.4バージョンのSparkを使用する理由 - それは本当に古いです（Sparkエコシステムの現在の状態に関して）。 – Michal

レガシーシステムが理由です。近いうちにアップグレードを計画していますが、今は十分な時間がありません。 – JaKu

これは2.0より前のバージョンのSparkではサポートされていません。

出典

2017-11-11 16:28:42 TomKraljevic

輝くjarファイルの最新バージョンをダウンロードして、火花シェルを起動中にそれを追加します。

./bin/sparkling-shell --master yarn-client --jars "<path to the jar located>"

その後、拡張H2Oドライバを設定することで、コードを実行します。

import org.apache.spark.h2o._ 

val conf = new H2OConf(spark).setExternalClusterMode().useAutoClusterStart().setH2ODriverPath("//home//xyz//sparkling-water-2.2.5/bin//h2odriver-sw2.2.5-hdp2.6-extended.jar").setNumOfExternalH2ONodes(2).setMapperXmx("6G") 

val hc = H2OContext.getOrCreate(spark, conf)

出典

2018-01-23 01:46:09

外部H2Oバックエンドで発火する水を実行する

答えて

関連する問題