sqliteファイルをDataFrameにロード

Question

sqliteファイルをApache Sparkにロードします。

私はこのように試してみました：

emailsDf = spark.read.format('sqlite').load("/FileStore/tables/24ioztln1479471916526/database.sqlite") 

しかし、それは動作しません：

java.lang.ClassNotFoundException: Failed to find data source: sqlite. Please find packages at https://cwiki.apache.org/confluence/display/SPARK/Third+Party+Projects 

のでsqliteファイルをロードする最良の方法は何ですか？

Answer 1

私はDB Browser for SQLiteでCSVファイルにデータベースをエクスポートします：

その後spark-csvを使用

1. Open Databaseボタン
2. は
3. File → Export → Table(s) as CSV file、デフォルト値は問題ないはずデータベースファイルを選択しますCSVファイルをSparkデータフレームにロードします（例については、リンクを参照してください）。

   また、データベースのホストされたインスタンスにJDBCを使用して接続することもできます。

Answer 2

.format（ 'sqlite'）が存在しません。 jdbcを使用してsqliteに接続する必要があります。

val df = sqlContext.read.format("jdbc").options(
    Map(
    "url" -> "jdbc:sqlite:/FileStore/tables/24ioztln1479471916526/database.sqlite", 
    "dbtable" -> "select * from your_table")).load() 

アプリケーションを実行する際には、使用している適切なバージョンのクラスパスにsqlite-jdbc-X.jarが必要です。