sparklyrパッケージを使用してアクセスハイブ？

library(sparklyr) 
library(dplyr) 
home <- "/usr/hdp/current/spark-client" 
sc <- spark_connect(master = "yarn-client", spark_home = home, version = "1.6.2") 
readFromSpark <- spark_read_csv(sc, name="test", path ="hdfs://hostname/user/test.csv",header=TRUE)

私は既にsparklyrを使用してhdfsにアクセスしました。しかし、sparklyrを使用してハイブテーブル/コマンドにアクセスするには、dfをハイブに格納する必要があるためです。sparklyrパッケージを使用してアクセスハイブ？

出典

2017-04-07 FlyingTurtle

これを試してみてください： 'df_tbl < - 私はdf_tblように、そのDFを置きたいいけないcopy_to（SC、readFromSpark、 "yourTableName"）' –

@JaimeCaffarel。私はハイブテーブルにreadFromSparkを保存したい、私はデータベース、テーブルを作成する必要が私はハイブにreadFromSparkを置くことができます。 – FlyingTurtle

AFAIK、sparklyrにはデータベース/テーブルを直接作成する機能がありません。しかし、DBIを使ってデータベース/テーブルを作成することができます。

library(DBI) 
iris_preview <- dbExecute(sc, "CREATE EXTERNAL TABLE...")

出典

2017-05-31 13:49:03 chezou

素晴らしいですが、あなたがここに示唆しているEXTERNAL TABLEとしてHblに登録されている 'sdf'や' tbl_cache'を使ってキャッシュされた 'sdf'をどうやって置いていますか？ 'sparklyr'と' dplyr'がメモリ内で操作できるローカルオブジェクトを使ってテーブルを作成するための指示はありません。 – quickreaction

sparklyrパッケージを使用してアクセスハイブ？

答えて

関連する問題