SparkSQLはPythonを使用してMySQLデータベーステーブルから読み取る

Question

私はMySQLに 'user'テーブルを持っています。 Spark SQLプログラムにそれを読んでみたい。 MySQLからPythonを使ってApache SparkのSparkSQLモジュールにテーブルを読み込む方法はありますか？この作業に使用できるコネクタはありますか？おかげさまで

Answer 1

similar question answeredがあります。 pyspark

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38 

次のように起動しますそれからちょうどこれが最も可能性が高いだけに働くだろう

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql", 
driver="com.mysql.jdbc.Driver", 
dbtable="user", 
user="root", 
password="" 
).load().take(10) 

を実行します。しかし、これはあなたのmysqlの設定に依存するので、パスワード、ユーザ名、db-urlおよびその他の設定を変更しないとします。