SparkRでJupyterノートブックを使用

Question

JupyterノートパソコンをSparkRで使いたいと思っています。JupyterにIRカーネルをインストールします。これはSparkクラスタにインストールされています。

JupyterとpySparkを使用していますが、SparkRでは使用できません。

AWS-EMRクラスタに私のSparkクラスタを作成しました。

Answer 1

それがスパークしてJupyterを使用するために、IRkernelを使用することは必須ではないなら、あなたは、Apache Toreeカーネルをインストールすることを検討すべきである：https://toree.incubator.apache.org/

このカーネルを使用して、スパークのAPIのいずれかを使用してスパークしてJupyterのノートPCを接続することができます。また、1つのノートブックの異なるセルの言語を切り替えるためにマジック（例えば、％pysparkや％sparkr）を使用することもできます。