SparkでRDD行の連続する空白を削除します

Question

多くのプログラムによるクリーンアップの後、私のデータセットはこのようになります（ここで部分的なデータセットを示しています）。

ABCD  A M@L        79 
BGDA  F D@L        89 

私はさらにスパークデータフレームの操作のために、以下の

ABCD,A,M@L,79 
BGDA,F,D@L,89 


val reg = """/\s{2,}/""" 
val cleanedRDD2 = cleanedRDD1.filter(x=> !reg.pattern.matcher(x).matches()) 

にこれを変換したい。しかし、これは何も返しません。空の文字列を区切り文字で見つけて置き換えるにはどうすればよいですか？ ありがとう！ rt

Answer 1

文字列データ内の非垂直の空白をすべて置き換えたいと思うようです。 replaceAll（パターンに一致するテキストのすべての出現箇所を置き換える）を[\t\p{Zs}]+ regexとすることをお勧めします。ここで

はちょうどsample code次のとおりです。

val s = "ABCD  A M@L        79\nBGDA  F D@L        89" 
val reg = """[\t\p{Zs}]+""" 
val cleanedRDD2 = s.replaceAll(reg, ",") 
print(cleanedRDD2) 
// => ABCD,A,M@L,79 
//  BGDA,F,D@L,89 

そして、ここではregex demoです。 [\t\p{Zs}]+は、タブ（\t）またはSpace Separator categoryの任意のUnicode空白の1つ以上の出現と一致します。

newRDD = yourRDD.map(elt => elt.replaceAll("""[\t\p{Zs}]+""", ","))