HiveでSparkRデータフレームをロード

Question

SparkRで作成したDataFrameをロードして、Hiveにロードする必要があります。

#created a dataframe df_test 
df_test <- createDataFrame(sqlContext, data.frame(mon = c(1,2,3,4,5), year = c(2011,2012,2013,2014,2015))) 

#initialized the Hive context 
>sc <- sparkR.init() 
>hiveContext <- sparkRHive.init(sc) 

#used the saveAsTable fn to save dataframe "df_test" in hive table named "table_hive" 
>saveAsTable(df_test, "table_hive") 

16/08/24午後11時08分36秒ERROR RBackendHandler： のjava.lang：saveAsTableは13にinvokeJavaで エラー（isStatic = FALSE、OBJIDます$ id、methodNameの、...）を失敗しました.RuntimeException：SQLContextで作成されたテーブルはTEMPORARYでなければなりません。代わりにHiveContextを使用してください。 at scala.sys.package $ .error（package.scala：27） at org.apache.spark.sql.execution.SparkStrategies $ DDLStrategy $ .apply（SparkStrategies.scala：392） at org.apache.spark。 sql.catalyst.planning.QueryPlanner $$ anonfun $ 1.apply（QueryPlanner.scala：58） 、org.apache.spark.sql.catalyst.planning.QueryPlanner $$ anonfun $ 1.apply（QueryPlanner.scala：58） at （QueryPlanner.scala：59） at org.apache.spark。スケーラビリティ。 sql.execution.QueryExecution.sparkPlan $ lzycompute（QueryExecution.scala：47） at org.apache.spark.sql.execution.QueryExecution.sparkPlan（QueryExecution.scala：45） at org.apache.spark.sql.e xecution.QueryExecution.executedPlan $ lzycompute（QueryExecution.scala：52） org.apache.spark.sql.execution.QueryExecution.executedPlanで（QueryExecution.scala：52）org.apache.spark.sql.execution

で

上記のエラーが発生します。親切に助けてください。

Answer 1

HiveContextの範囲では十分ではありません。各データフレームは、特定のSQLContext/SparkSessionインスタンスにバインドされ、df_testが明確例であることを示すましょhiveContext

異なるコンテキストで作成された：

Welcome to 
    ____    __ 
/__/__ ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/ '_/ 
/___/ .__/\_,_/_/ /_/\_\ version 1.6.1 
    /_/ 


Spark context is available as sc, SQL context is available as sqlContext 
> library(magrittr) 
> createDataFrame(sqlContext, mtcars) %>% saveAsTable("foo") 
16/08/24 20:22:13 ERROR RBackendHandler: saveAsTable on 22 failed 
Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
    java.lang.RuntimeException: Tables created with SQLContext must be TEMPORARY. Use a HiveContext instead. 
    at scala.sys.package$.error(package.scala:27) 
    at org.apache.spark.sql.execution.SparkStrategies$DDLStrategy$.apply(SparkStrategies.scala:392) 
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58) 
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58) 
    at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:396) 
    at org.apache.spark.sql.catalyst.planning.QueryPlanner.plan(QueryPlanner.scala:59) 
    at org.apache.spark.sql.execution.QueryExecution.sparkPlan$lzycompute(QueryExecution.scala:47) 
    at org.apache.spark.sql.execution.QueryExecution.sparkPlan(QueryExecution.scala:45) 
    at org.apache.spark.sql.execution.QueryExecution.executedPlan$lzycompute(QueryExecution.scala:52) 
    at org.apache.spark.sql.execution.QueryExecution.executedPlan(QueryExecution.scala:52) 
    at org.apache.spark.sql.execu 
> 
> hiveContext <- sparkRHive.init(sc) 
> createDataFrame(hiveContext, mtcars) %>% saveAsTable("foo") 
NULL