PysparkからJDBC経由でsqlite3データベースに書き込むときにこのテーブルはありません

Question

xerialのsqlite-jdbcとthis exampleを使用して、Pythonのsqlite3データベースにSparkデータフレームを書き込もうとしています。 私は

java.sql.SQLException: [SQLITE_ERROR] SQL error or missing database (no such table: test) 

データベースファイルhello.dbは、実際に私はそれがドライバを見つけるためにspark-submit --jars ../extras/sqlite-jdbc-3.8.11.2.jar example.pyでそれを実行しています

sqlite> .schema test 
CREATE TABLE test (age BIGINT , name TEXT); 

スキーマを持つテーブルtestで作成されたエラーを取得しています。

私はSpark 1.6.0を実行しています。一般に

（たぶん）再現例えば

import os 
os.environ["SPARK_HOME"] = "/usr/lib/spark" 
import findspark 
findspark.init() 
from pyspark import SparkConf, SparkContext 
from pyspark.sql import SQLContext 

config = { 
      "spark.cores.max": "5", 
      "spark.master" : "spark://master2:7077", 
      "spark.python.profile": "false", 
      "spark.ui.enabled": "false", 
      "spark.executor.extraClassPath": "../extras/sqlite-jdbc-3.8.11.2.jar", 
      "spark.driver.extraClassPath": "../extras/sqlite-jdbc-3.8.11.2.jar", 
      "spark.jars": "../extras/sqlite-jdbc-3.8.11.2.jar" 
     } 

conf = SparkConf() 
for key, value in config.iteritems(): 
     conf = conf.set(key, value) 

sc = SparkContext(appName="test", conf=conf) 
sqlcontext = SQLContext(sc) 

d = [{'name': 'Alice', 'age': 31}] 
df = sqlcontext.createDataFrame(d) 

url = "jdbc:sqlite:hello.db" 
df.write.jdbc(url=url, table="test", mode="overwrite", properties={"driver":"org.sqlite.JDBC"}) 

Answer 1

各スパークエグゼキュータ行うデータソースとシンクが各ワーカーノードからアクセス可能でなければなら読み取り、別々に書き込みます。一般的に、このシナリオではSQLiteをむしろ無駄にしています（ただし、ローカル検索では役に立ちます）。

出力を非ローカルモードでデータベースに保存するには、適切なデータベースサーバーが必要です。