sparklyrをリモートスパーク接続に接続

Question

ローカルデスクトップRStudioセッションをsparklyr経由でリモートスパークセッションに接続したいとします。 RStudioのsparklyr uiタブで新しい接続を追加する場合、cluster isを選択すると、クラスタ上で実行しているか、クラスタへの帯域幅の高い接続が必要であるというメッセージが表示されます。

誰もそのような種類の接続を作成する方法を明らかにすることはできますか？私はこの再現性の例を作成する方法がわからないのですが、一般的に私は何をしたいのです：リモートサーバーからの

library(sparklyr) 
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0") 

。私は、特にリモコン間でデータを渡そうとすると、レイテンシがあることを理解しています。実際のクラスタ上にrstudio-serverを置く方が良いかもしれないが、それは常に可能ではないことを理解しており、私のサーバと私のデスクトップRStudioセッションをやりとりするためのsparklyrオプションを探している。ありがとう。

Answer 1

sparklyrバージョン0.4から、RStudioデスクトップからリモートのSparkクラスタに接続することはサポートされていません。代わりに、あなたが言及しているように、RStudio ServerをSparkクラスタにインストールすることをお勧めします。

sparklyrのlivy branchは、Livyとの統合を検討しているため、RStudioデスクトップはLivyを介してリモートSparkクラスタに接続できます。