sparklyrでleft_jointを使用するとテーブルが削除される

Question

私は、テーブルのサイズのためにsparklyrをdplyrのleft_jointと共に使用するため、参加したいテーブルをいくつか使用しています。私は5つの最初のテーブルをleft_jointすると予想されるように

query.1 <- left_join(pa11, pa12, by = c("CODIGO_HAB_D","ID_EST","ID_ME","ID_PARTE_D","ID_PAR", "ID_REP")) %>% left_join(., pa13, by = c("ID_SINI" = "ID_SINI")) 

query.1 <- left_join(query.1, a14, by = "ID_REP") 
query.1 <-left_join(query.1, a16, by = c("ID_MEJ" = "ID_ME")) 
query.1 <-left_join(query.1, a17, by = c("ID_EST" = "ID_ESTE")) 
query.1 <-left_join(query.1, a18, by = "ID_PARTE_D") 
query.1 <-left_join(query.1, a19, by = "CODI") 
query.1 <-left_join(query.1, a110, by = c("ID_PROF.x" = "ID_PROF")) 
query.1 <-left_join(query.1, a111, by = c("ID_COM.x" = "ID_COM")) 
query.1 <-left_join(query.1, a113, by = c("ID_GRANDES.x" = "ID_GRANDES")) 

は、すべてが行く： は、ここではコードサンプルです。私は複数のテーブルでこれを繰り返したとき、私はこのエラーを取得

Error in as.vector(x, "character") : 
cannot coerce type 'environment' to vector of type 'character' 

、私はスパークテーブルを見てみましょうしようとすると、私はRstudioにエラーが発生します。

Answer 1

これらのエラーは、他の理由により随時発生します。 Sparklyrメモリとエグゼキュータoverheadmemoryを増やすと

config <- spark_config() 
    config$`sparklyr.shell.driver-memory` <- "8G" 
    config$`sparklyr.shell.executor-memory` <- "8G" 
    config$spark.yarn.executor.memoryOverhead <- "2g" 

を助け、私の経験から

、