2017-02-03 11 views
0

私は輝く水に新しいです。私は今、sparkling-shellからプログラムを実行する方法を学びます。しかし、私はsparkへの入力として与えることができるスタンドアロンのアプリケーションを構築する方法がわかりません。アプリケーションを構築するために必要なジャーは何ですか?最小限のスパークリングウォーターアプリケーションを構築する

+0

Spark 2.0を使用した新しいスプラーク液滴がありますか –

答えて

1

チェックsparkling-water examplesProstateDemo.scalaに、スタンドアロンのスパークリングウォーターアプリを書く方法(h2oコンテキストの作成など)について説明します。

あなたは基本的にあなたのsbt/maven/gradle依存関係にneed to addsparkling-water-coreという文字をコンパイルします。 2つのオプションがあります:

  1. 光沢のあるコアが入ったアセンブリの瓶を作ります。ここで私はSBTのために使っている例です:

    libraryDependencies += "ai.h2o" %% "sparkling-water-core" % "2.0.4" excludeAll(
    ExclusionRule(organization = "org.apache.spark"), 
    ExclusionRule(organization = "org.slf4j"), 
    ExclusionRule(organization = "com.google.guava"), 
    ExclusionRule(organization = "org.eclipse.jetty.orbit"), 
    ExclusionRule(organization = "com.esotericsoftware.kryo")) 
    
  2. あなたのjarファイルをコンパイルし、提出火花--jarsまたは--packages引数を使用します。

    FYI

spark-submit --packages ai.h2o:sparkling-water-core_2.11:2.0.4 your_jar.jar

+0

ありがとうございました!それが動作すれば私はあなたに知らせます。 –

+1

それは動作します!本当にありがとう。また、libraryDependencies + = "ai.h2o" %% "sparkling-water-repl"% "2.0.4"を追加してアプリを実行する必要がありました。 –

+1

私のプロジェクトでreplを無効にしました.h2oConfの 'spark.ext.h2o.repl.enabled = false' – prudenko

関連する問題