2016-08-07 7 views
1

5ノードのhadoopクラスタ(SparkRを含むApache Sparkを含む)でIBM BigInsightsサービスを作成しました。私は、Cloudデータベースを接続し、いくつかのデータを取得し、いくつかの処理を行うためにSparkRを使用しようとしています。BigInsights Hadoopクラスタでspark-submitを使用したSparkR job(Rスクリプト)サブミットが失敗する

BigInsights Hadoopクラスタでspark-submitを使用したSparkR job(Rスクリプト)サブミットが失敗します。 私はSparkRスクリプトを作成し、次のコードを実行している、test_sparkr.Rファイルの

-bash-4.1$ spark-submit --master local[2] test_sparkr.R 
16/08/07 17:43:40 WARN SparkConf: The configuration key 'spark.yarn.applicationMaster.waitTries' has been deprecated as of Spark 1.3 and and may be removed in the future. Please use the new key 'spark.yarn.am.waitTime' instead. 
Error: could not find function "sparkR.init" 
Execution halted 
-bash-4.1$ 

内容は次のとおりです。

# Creating SparkConext and connecting to Cloudant DB 
sc <- sparkR.init(sparkEnv = list("cloudant.host"="<<cloudant-host-name>>","<<><<cloudant-user-name>>>","cloudant.password"="<<cloudant-password>>", "jsonstore.rdd.schemaSampleSize"="-1")) 

# Database to be connected to extract the data 
database <- "testdata" 
# Creating Spark SQL Context 
sqlContext <- sparkRSQL.init(sc) 
# Creating DataFrame for the "testdata" Cloudant DB 
testDataDF <- read.df(sqlContext, database, header='true', source = "com.cloudant.spark",inferSchema='true') 

IBMのBigInsightsに火花cloudantコネクタをインストールして、問題を解決する方法。親切に、必要なのをやってください。ヘルプは非常に高く評価されます。

答えて

0

私はスパーククラウドコネクタはまだR用ではないと信じています。

うまくいけば、この回答を更新することができます。

+0

spark-cloudantコネクタはBluemixのsparkサービスでSparkRノートブック(Rテクニカルプレビュー)と連携しているので、IBM BigInsightsクラスタのSparkRで利用できると思いました。これらのジャー(スパーククラウドコネクタ)を入れてSparkRからクラウドデータベースに接続しようとする方法はありますか?ありがとうございました。 –

+0

こんにちは@JasonSmith、spark-submitコマンドを使用して自分のSparkRスクリプト(ジョブ)を送信することは可能ですか? –

関連する問題