PySpark/HIVE：私は既存のテーブルに追加するにはどうすればよい</p> <p>：既存のテーブルに

Question

本当に基本的な質問pyspark /ハイブ質問を追加？私の試行は以下です

from pyspark import SparkContext, SparkConf 
from pyspark.sql import HiveContext 
conf_init = SparkConf().setAppName('pyspark2') 
sc = SparkContext(conf = conf_init) 
hive_cxt = HiveContext(sc) 

import pandas as pd 
df = pd.DataFrame({'a':[0,0], 'b':[0,0]}) 
sdf = hive_cxt.createDataFrame(df) 
sdf.write.mode('overwrite').saveAsTable('database.table') #this line works 

df = pd.DataFrame({'a':[1,1,1], 'b':[2,2,2]}) 
sdf = hive_cxt.createDataFrame(df) 
sdf.write.mode('append').saveAsTable('database.table') #this line does not work 
#sdf.write.insertInto('database.table',overwrite = False) #this line does not work 

ありがとう！ サム

Answer 1

オプション（ '上書き'）を使用していると問題が発生しているようです。テーブルを削除して新しいテーブルを作成します。次のようにすれば、すべて正常に動作します。

from pyspark import SparkContext, SparkConf 
from pyspark.sql import HiveContext 

conf_init = SparkConf().setAppName('pyspark2') 
sc = SparkContext(conf = conf_init) 
print(sc.version) 
hive_cxt = HiveContext(sc) 
hive_cxt.sql('USE database') 

query = """ 
     CREATE TABLE IF NOT EXISTS table (a int, b int) 
     STORED AS parquet 
     """ 
hive_cxt.sql(query) 

import pandas as pd 
df = pd.DataFrame({'a':[0,0], 'b':[0,0]}) 
sdf = hive_cxt.createDataFrame(df) 
sdf.write.mode('append').format('hive').saveAsTable('table') 

query = """ 
     SELECT * 
     FROM table 
     """ 
df = hive_cxt.sql(query) 
df = df.toPandas() 
print(df) # successfully pull the data in table 

df = pd.DataFrame({'a':[1,1,1], 'b':[2,2,2]}) 
sdf = hive_cxt.createDataFrame(df) 
sdf.write.mode('append').format('hive').saveAsTable('table')