Master URL： 'spark.bluemix.net'をパーズできません

Question

私はデスクトップマシン上で実行されているRStudioからBluemix上で動作するサービスとしてIBMのSparkに接続しようとしています。

私はIBMのデータ・サイエンスの経験上で実行して自動的に設定RStudio環境からconfig.ymlをコピーした：

install.packages("sparklyr") 

library(sparklyr) 
spark_install(version = "1.6.2") # installed spark to '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6' 

spark_home = '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6' 

config = spark_config(file = "./config.yml", use_default = FALSE, config = "CSX-DSX") 

sc <- spark_connect(spark_home = spark_home, config = config) 

エラー：

default: 
    method: "shell" 

CS-DSX: 
    method: "bluemix" 
    spark.master: "spark.bluemix.net" 
    spark.instance.id: "myinstanceid" 
    tenant.id: "mytenantid" 
    tenant.secret: "mytenantsecret" 
    hsui.url: "https://cdsx.ng.bluemix.net" 

私はそうのように接続しようとしています

17/03/07 09:36:19 ERROR SparkContext: Error initializing SparkContext. 
org.apache.spark.SparkException: Could not parse Master URL: 'spark.bluemix.net' 
    at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2735) 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:522) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281) 
    at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    ... 

スタックオーバーに関する他の質問がいくつかあります同様のエラーメッセージが表示されますが、Bluemixで実行されているSparkサービスに接続しようとしていません。

---

アップデート1

私はこのように私のconfig.ymlを変更しました：

default: 
    method: "bluemix" 
    spark.master: "spark://spark.bluemix.net:7070" 
    spark.instance.id: "7a4089bf-3594-4fdf-8dd1-7e9fd7607be5" 
    tenant.id: "sdd1-7e9fd7607be53e-39ca506ba762" 
    tenant.secret: "6146a713-949f-4d4e-84c3-9913d2165b9e" 
    hsui.url: "https://cdsx.ng.bluemix.net" 

...と私の接続コードはこのように見える：

install.packages("sparklyr") 
library(sparklyr) 
spark_install(version = "1.6.2") 
spark_home = '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6' 
config = spark_config(file = "./config.yml", use_default = FALSE) 
sc <- spark_connect(spark_home = spark_home, config = config) 

ただし、エラーは次のとおりです。

Error in force(code) : 
    Failed during initialize_connection: java.lang.NullPointerException 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:583) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281) 
    at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at sparklyr.Invoke$.invoke(invoke.scala:94) 
    ... 

Answer 1

私はエンジニアリングチームから次の応答を受信しました。私はそれにもポートが必要だと思います。それが何であるべきかわからない。

Answer 2

ライブラリはURLを解析しようとしますが、ホスト名を指定しています。

spark.masterの場合はspark://spark.bluemix.netを試してください。

Answer 3

ブログの投稿http://datascience.ibm.com/blog/access-ibm-analytics-for-apache-spark-from-rstudio/に従って、DSX RStudioのBluemix SparkaaSに接続してください。 URLと

RStudio desktop version doesn't support at this time to use sparklyr package to connect Bluemix SparkaaS service