sparklyr hdfsまたはハイブにデータを書き込む

sparklyrを使用してhdfsまたはハイブにデータを書き込もうとしましたが、方法を見つけることができませんでした。 sparklyrを使ってRデータフレームをhdfsやハイブに書き込むことも可能ですか？私のRとhadoopは2つの異なるサーバーで動作しているので、Rからリモートのhdfsに書き込む方法が必要です。sparklyr hdfsまたはハイブにデータを書き込む

よろしくラーフル

出典

2017-06-27 Rahul

を使用すると、糸モードでスパークを実行しようとしたことがありますか？ [This]（https://stackoverflow.com/questions/38102921/can-sparklyr-be-used-with-spark-deployed-on-yarn-managed-hadoop-cluster）投稿が参考になるかもしれません。 – mrjoseph

あなたはスパークにデータフレームをコピーするsdf_copy_toを使用することができ、TEMPTABLEを言うことができます。次に、DBI::dbGetQuery(sc, "INSERT INTO TABLE MyHiveTable SELECT * FROM tempTable")を使用して、データフレームレコードをハイブテーブルに挿入します。

出典

2017-09-05 13:52:42 edeg

Sparklyrを使用してハイブにスパークテーブルの書き込み：

iris_spark_table <- copy_to(sc, iris, overwrite = TRUE) 
sdf_copy_to(sc, iris_spark_table) 
DBI::dbGetQuery(sc, "create table iris_hive as SELECT * FROM iris_spark_table")

出典

2018-02-01 16:11:56

共有していただきありがとうございます。これにより、ハイブのデフォルトデータベースにデータがロードされます。ファイルをエクスポートするハイブデータベースを変更する方法を知っていますか？ – bshelt141

sparklyr hdfsまたはハイブにデータを書き込む

答えて

関連する問題