Rscriptとspark-submitを使ってRスクリプトを実行

Question

Rscriptとspark-submitを使用してRファイルを実行することの違いを理解できません。

ファイルでは、私はクラスタに接続するオプションを渡すので、spark-submitの使用の冒険は何か分かりません。私はスパークセッションを作成した後、Rプログラムの中で何

sparkR.session(master = "spark://...", appName = "test", sparkConfig = list(spark.driver.memory = "1g", spark.driver.cores = 1L, spark.executor.memory = "2g", spark.cores.max = 2L)) 

は、SQLを使用してHDFSに保存された寄木細工のファイルを照会しています。

私は自分のプログラムを実行する方法を両方とも試みましたが、まったく同じことをすると思います。 Rスクリプトは単なるRプログラムとして、それを評価してSparkRプログラムを呼び出す事前に

おかげ

Answer 1

• 。単純なケースでは問題ありませんが、限られています。

• ​​を使用すると、マスターURI、デプロイメントモード、メモリ、コア、設定オプション、jarファイル、パッケージなど、多くのSpark固有のオプションを設定できます。

  これらのほとんどはSpark設定を使用して設定することも、スクリプトでハードコードすることもできますが、​​はより柔軟性があります。

他のサポートされている言語（Java、Python、Scala）についても同様です。