シェルスクリプトでspark-shellコマンドを実行する

Question

#!/bin/sh 
spark-shell 
import org.apache.spark.sql.SparkSession 
val url="jdbc:mysql://localhost:3306/slow_and_tedious" 
val prop = new java.util.Properties 
prop.setProperty("user",”scalauser”) 
prop.setProperty("password","scalauser123") 
val people = spark.read.jdbc(url,"sat",prop) 

上記のコマンドは、JDBCを使用してMysqlとSparkを接続するために使用します。 しかし、これらのコマンドを書くのではなく、毎回私はスクリプトを作ると思ったのですが、上記のスクリプトを実行するとこのエラーがスローされます。

Answer 1

import org.apache.spark.sql.SparkSession 
val url="jdbc:mysql://localhost:3306/slow_and_tedious" 
val prop = new java.util.Properties 
prop.setProperty("user",”scalauser”) 
prop.setProperty("password","scalauser123") 
val people = spark.read.jdbc(url,"sat",prop) 

火花シェルをするには以下のコマンド使用してログインし、以下のようなあなたのコードとtest.scalaという名前のScalaファイルを作成します。

spark-shell --jars mysql-connector.jar 

上記のコードを実行するには、次のコマンドを使用します。

scala> :load /path/test.scala 

シェルスクリプト実行するたびに時間がかかるsparkContextを起動するたびにシェルスクリプトが実行されます。

上記のコマンドを使用すると、test.scalaにあるコードが実行されます。

スパークシェルにログインするときにsparkContextがロードされるので、スクリプト実行時に時間を節約できます。