インパラデータベースにスパークデータフレームを書き込む方法

Question

次のコードを使用して、スパークデータフレームをJDBC接続を介してインパラントに書き出します。

df.write.mode("append").jdbc(url="jdbc:impala://10.61.1.101:21050/test;auth=noSasl",table="t_author_classic_copy", pro) 

しかし、私は次のエラーを取得：ます。java.sql.SQLExceptionを：

df.write.mode("overwrite").jdbc(url="jdbc:impala://10.61.1.101:21050/test;auth=noSasl",table="t_author_classic_copy", pro) 

が、それはまだエラーを取得：

んが、適切なドライバが、その後、私はモードを変更

を認めませんでした

CAUSED BY: Exception: Syntax error 
), Query: CREATE TABLE t_author_classic_copy1 (id TEXT NOT NULL, domain_id TEXT NOT NULL, pub_num INTEGER , cited_num INTEGER , rank DOUBLE PRECISION). 

Answer 1

これは私のために働く：

火花シェル--driverクラスパスImpalaJDBC41.jar --jars ImpalaJDBC41.jar

val jdbcURL = s"jdbc:impala://192.168.56.101:21050;AuthMech=0" 

val connectionProperties = new java.util.Properties() 

import org.apache.spark.sql.SaveMode 

sqlContext.sql("select * from my_users").write.mode(SaveMode.Append).jdbc(jdbcURL, "users", connectionProperties)