spark scalaでmysqlクエリを高速に実行する方法

Question

MySQLデータベースからデータを取得するために、Eclipse内でScala sparkを使用しようとしています。 問題は、コードが1つのSQLクエリを実行するのに数時間かかることです。 これは私の最初のコードです：

val conf = new SparkConf().setAppName("MyApp").setMaster("local") 
val sc = new SparkContext(conf) 
val sqlcontext = new org.apache.spark.sql.SQLContext(sc) 
sqlcontext.setConf("url", "mysql://localhost:3306/myDB?user=us&password=pw") 

val action = sqlcontext.jdbc(jdbcUrl, "action").registerTempTable("action") 
val session = sqlcontext.jdbc(jdbcUrl, "session").registerTempTable("session") 
sqlcontext.cacheTable("action") 
sqlcontext.cacheTable("session") 

は、その後、私は多くのコマンド

​​

をしようとしたデータベースからデータを取得するために、これが行われるために多くの時間を要するので、私はテーブルを取得するジュストを試してみました：

val df = sqlcontext.table("action").collect() 
println(df.size) 

しかし、これは私の問題を解決しませんでした。最後に、私のアクションテーブルには約11百万行が含まれていると言います。

Answer 1

長時間実行されるジョブには複数の理由があります。あなたのマスターは "ローカル"であると述べたので、あなたは単一のエグゼキュータスレッドで実行しています。 Sparkは分割された方が良いでしょう。あなたのケースで作成されたパーティションの数を確認してください。それが1の場合は、パーティション分割（numberofpartitions：int）を使用して再パーティションを行い、並列処理（local [8]/local [*]）を達成するためにさらにスレッドを実行してください。