シンプルなSparkR 1.6の例

Question

私は単純なsparkRのサンプルを起動して動作させることに取り組んでおり、動作させることはできません。私がしたいのは、リストを作成してパラレル化し、SparkRで関数を実行することだけです。私は火花1.6でこれを行うための道を行く単純な例を見つけることができませんでした - それを行う多くの方法があるようだが、それらのどれもうまくいかないようです。私はsparkRコンソールでこれを実行しようとしています：

fxntest<- function(i){ 
    m = matrix(runif(4000*4000),4000) 
    return(system.time(m %*% m)) 
} 

a<-c(1,1,1,1,1,3) 
b<-as.list(a) 

sdf <- createDataFrame(sqlContext, b) 
testtimes <- lapply(sdf, fxntest) 
testtimelist <- collect(testtimes) 
testtimelist 

これはlapplyが呼び出されているときに私が取得していますエラーです：

Error in as.list.default(X) : 
    no method for coercing this S4 class to a vector 

私が探しています何を取得する非常に簡単な例でありますこの作業 - 私はpyspark良い量を使用しているが、これはR.

Answer 1

createDataFrameでの作業を取得することができていないが1.6以来as.DataFrameに変更されました。

はこれを正しくそれはRのオブジェクトではないこと、しかし

sdf <- as.DataFrame(sqlContext, list(1,1,1,1,1,3)) 

R.

でスパークデータフレームを作成するために動作します。組み込みのR lapplyは、通常のリスト、配列、ベクトルなどに作用します。

Sparkでこれを実行すると、何も得られません。実行している計算はクラスタ全体で並列化されません。行列の乗算は単一のマシン上で行われます。また、Sparkライブラリはまったく使用されていません。ここで

には、例えば、

fxntest<- function(i){ 
    m = matrix(runif(4000*4000),4000) 
    return(system.time(m %*% m)) 
} 

testtimes <- lapply(list(1,1,1,1,1,3), fxntest) 

注作業コードです：それはあなたが使用しようとしていた機能がある場合spark.lapplyがスパーク2.xの中に追加されました。