2017-02-16 12 views
1

spark documentationはスパークパッケージを追加する方法を示していますスパークパッケージをDSXのSpark Rノートブックに追加するには?

sparkR.session(sparkPackages = "com.databricks:spark-avro_2.11:3.0.0") 

私はセッションを初期化するとき、これはのみを使用することができると信じています。

DSXのノートブックを使用してSparkRのスパークパッケージを追加するにはどうすればよいですか?

答えて

2

aviroパッケージをインストールするには、pixiedustパッケージマネージャを使用してください。

pixiedust.installPackage("com.databricks:spark-avro_2.11:3.0.0")

http://datascience.ibm.com/docs/content/analyze-data/Package-Manager.html

pixiedustはpythonでインポート可能であるためのpython 1.6カーネルからそれをインストールしてください。(これはあなたのスパークインスタンス・レベルでインストールしている忘れないでください)。 あなたがそれをインストールすると、カーネルを再起動して、Rのカーネルに切り替えてから、このようなアブロ読み: -

df1 <- read.df("episodes.avro", source = "com.databricks.spark.avro", header = "true")

head(df1)

完全なノートブック: -

https://github.com/charles2588/bluemixsparknotebooks/raw/master/R/sparkRPackageTest.ipynb

ありがとう、 チャールズ。

関連する問題