1
私は、Apacheサーバー上でSparkRで作成されたデータフレームを持っています。データを処理してその中から特徴を抽出するには、Rコードで呼び出す必要があります。誰かがSparkR dfをどのようにRに読み込むのか教えていただけますか?Sparkr DataframeをRコードに呼び出す方法は?
SparkRのDF:
sqlContext <- sparkRSQL.init(sparkR.session)
myframe <- filter(read.df(sqlContext, source = "org.apache.spark.sql.cassandra", keyspace = "abcd", table = "table1")
コールRでDF:
rawdata <- as.data.frame(myframe)
私は 'SparkR'で作業していませんでした。私は2017-10-22でCRANから削除されたことに気付きました。 'sparklyr'を使うと、* R *と* Spark *データフレームの間を行き来する' copy_to'と 'collect'関数があります。 –
これが役立つ可能性があります:https://spark.rstudio.com/ – MLavoie