RStudio-sparklyrを使用してIntelliJが提供するローカルSparkに接続する

Question

おはよう、 愚かな質問のように聞こえるかもしれませんが、RStudioのSparkで一時テーブルにアクセスしたいと思います。私はSparkクラスタを持っていません。私は自分のPC上のすべてのローカルを実行します。 私はIntelliJの通過スパークを起動すると、インスタンスが正常に実行されている：

17/11/11 10:11:33 INFO Utils: Successfully started service 'sparkDriver' on port 59505. 
17/11/11 10:11:33 INFO SparkEnv: Registering MapOutputTracker 
17/11/11 10:11:33 INFO SparkEnv: Registering BlockManagerMaster 
17/11/11 10:11:33 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information 
17/11/11 10:11:33 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up 
17/11/11 10:11:33 INFO DiskBlockManager: Created local directory at C:\Users\stephan\AppData\Local\Temp\blockmgr-7ca4e8fb-9456-4063-bc6d-39324d7dad4c 
17/11/11 10:11:33 INFO MemoryStore: MemoryStore started with capacity 898.5 MB 
17/11/11 10:11:33 INFO SparkEnv: Registering OutputCommitCoordinator 
17/11/11 10:11:33 INFO Utils: Successfully started service 'SparkUI' on port 4040. 
17/11/11 10:11:34 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://172.25.240.1:4040 
17/11/11 10:11:34 INFO Executor: Starting executor ID driver on host localhost 
17/11/11 10:11:34 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 59516. 
17/11/11 10:11:34 INFO NettyBlockTransferService: Server created on 172.25.240.1:59516 

しかし、私はポートわからないです、私はRStudio/sparklyrに選択する必要があります。

sc <- spark_connect(master = "spark://localhost:7077", spark_home = "C://Users//stephan//Downloads//spark//spark-2.2.0-bin-hadoop2.7", version = "2.2.0") 
Error in file(con, "r") : cannot open the connection 
In addition: Warning message: 
In file(con, "r") : 
    cannot open file 'C:\Users\stephan\AppData\Local\Temp\Rtmp61Ejow\file2fa024ce51af_spark.log': Permission denied 

私は別のポートを試してみました、59516、4040のように...しかし、すべて同じ結果につながった。ファイルが細かい書かれていることにより、私は推測する権限を拒否されたメッセージは無視することができます。

17/11/11 01:07:30 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master localhost:7077 

誰もが、私は地元のランニングスパークとRStudio間の接続を確立することができますどのように、私を支援してくださいすることができますが、そのRStudioなしで実行されています別のスパークのインスタンス？スタンドアロンスパーククラスタを実行

おかげで ステファン

Answer 1

ここにありそうな場合は、あなたのIDEにlocalモードでスパークを実行するのと同じものではありません。 localモードでは永続的なサービスは作成されません。

• ダウンロードスパークバイナリ：あなた自身の "pseudodistributed" クラスタを実行するには

  。

• $SPARK_HOME/sbin/start-master.shスクリプトを使用してスパークマスターを開始します。
• $SPARK_HOME/sbin/start-slave.shスクリプトを使用し、マスターURLを渡してSparkワーカーを開始します。

テーブルを共有できるようにするには、適切なメタストア（Derbyではなく）も必要です。