MySQLはPySpark

Question

で読み取る

I、次のテストコードを持っている：

from pyspark import SparkContext, SQLContext 
sc = SparkContext('local') 
sqlContext = SQLContext(sc) 
print('Created spark context!') 


if __name__ == '__main__': 
    df = sqlContext.read.format("jdbc").options(
     url="jdbc:mysql://localhost/mysql", 
     driver="com.mysql.jdbc.Driver", 
     dbtable="users", 
     user="user", 
     password="****", 
     properties={"driver": 'com.mysql.jdbc.Driver'} 
    ).load() 

    print(df) 

私はそれを実行すると、私は次のエラーを取得：

Scalaで

java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

、これは.jarファイルをインポートすることによって解決されるとmysql-connector-javaをプロジェクトに追加します。

しかし、Pythonでは、mysql-connectorファイルをリンクするようにpysparkモジュールに指示する方法はありません。

私は、これは

spark --package=mysql-connector-java testfile.py 

のような例を用いて解決見てきました。しかし、それは奇妙な方法で私のスクリプトを実行するために私を強制するので、私はこれを望んでいません。私は、すべてのpythonの解決策やファイルをどこかにコピーするか、パスに何かを追加したいと思います。 SparkConf前にsparkContextの作成が初期化されるときは、​​に引数を渡すことができ

Answer 1

：

import os 
from pyspark import SparkConf, SparkContext 

SUBMIT_ARGS = "--packages mysql:mysql-connector-java:5.1.39 pyspark-shell" 
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS 
conf = SparkConf() 
sc = SparkContext(conf=conf) 

か、あなたの$SPARK_HOME/conf/spark-defaults.conf