Spark-Scala接続

Question

Scalaを使用してSparkに接続するケースがあります。以前はScalaの経験がなく、Sparkと組み合わせてPythonを使用していました。

だからPythonのための接続は、次のように行った：

import findspark 
import pyspark 
findspark.init('/Users/SD/Data/spark-1.6.1-bin-hadoop2.6') 
sc = pyspark.SparkContext(appName="myAppName") 

、その後、符号化処理が始まりました。

スカラの方言を使用してSparkへの接続を確立するにはどうすればよいですか？

ありがとうございます！

Answer 1

かかわらずPythonやスカラ座の、次のステップは

1. 共通しているあなたは（ScalaのためのpythonとSBTエントリのPythonパス）を使用している言語へのjarファイルを使用できるようにし

スカラ

name := "ProjectName" 
version := "1.0" 
scalaVersion := "2.10.5" 
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" 

パイソン

PYTHONPATH=/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python:/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip:PYTHONPATH 

ライブラリが利用可能であるならば、使用量はScalaで

以下のような規則的であるパイソン

conf = SparkConf().setAppName(appName).setMaster(master) 
sc = SparkContext(conf=conf) 

で

val conf = new SparkConf().setAppName(appName).setMaster(master) 
new SparkContext(conf) 

あなたが提供したコードスニペットは、Python用のライブラリを取得しています。それはうまくいくかもしれませんが、最終的なアプローチに従わないかもしれません。