SparklyRが、私はこのように構成されて<strong>COL</strong>という名前の列を含むデータフレームを持つ2つの列

Question

に1つのスパークデータフレームの列を区切る：

VALUE1###VALUE2

場合は、次のコードは、

library(sparklyr) 
library(tidyr) 
library(dplyr) 
mParams<- collect(filter(input_DF, TYPE == ('MIN'))) 
mParams<- separate(mParams, COL, c('col1','col2'), '\\###', remove=FALSE) 

を働いていますcollectを削除すると、次のエラーが表示されます。

Error in UseMethod("separate_") : 
    no applicable method for 'separate_' applied to an object of class "c('tbl_spark', 'tbl_sql', 'tbl_lazy', 'tbl')" 

私が欲しいものを達成するための選択肢はありますか？

Answer 1

Sparklyrバージョン0.5は、ちょうどreleasedされている、それはそれを行うことができますft_regex_tokenizer()functionが含まれています

A regex based tokenizer that extracts tokens either by using the provided regex pattern to split the text (default) or repeatedly matching the regex (if gaps is false).

library(dplyr) 
library(sparklyr) 
ft_regex_tokenizer(input_DF, input.col = "COL", output.col = "ResultCols", pattern = '\\###') 

分割さ欄 "ResultCols" はリストになります。