2
からリモートクラスタ上でスパークジョブを実行すると、私は地元の火花で次のようにしSBTは:私が火花仕事をしているSBT
ファイル名を指定して実行を実行することができていた、Scalaで書かれた(WORDCOUNTそれを呼び出すことができます) runMain WORDCOUNT [INPUTFILE] [Otuputdir]ローカル[*]遠隔スパーククラスタに
実行ジャーを火花提出> SBT SBT
内からインスタンス
SBT>パッケージ
$> --masterスパーク火花提出://192.168.1.1:7077 --class WORDCOUNTターゲット/ Scalaの-2.10/wordcount_2.10-1.5.0-SNAPSHOTを。瓶は、[入力ファイル] [Otuputdir]
コード:
// get arguments
val inputFile = args(0)
val outputDir = args(1)
// if 3rd argument defined then use it
val conf = if (args.length == 3) new SparkConf().setAppName("WordCount").setMaster(args(2)) else new SparkConf().setAppName("WordCount")
val sc = new SparkContext(conf)
がどのように私はSBTからリモートスパーククラスタにこのジョブを実行できますか?