DStreamをDataframeに変換するとデータが失われる

Question

DStream [String]をDataframesに変換しようとすると問題が発生します。

私の目標は、ジッタストリーム[rdd]をデータフレームに変換することですが、私のコードでは変換が機能しません。最後には、私は1ワードしか持たないデータフレームを受信します。例えば

：こんにちは、すべてのボディ

あなたが使用しているため、私のデータフレームは、言葉だけ「HI」ここ

コードの一部

val splited_test=texts.transform(rdd => rdd.map(x=> Row.fromSeq(x.split(" ")))) 


    splited_test.foreachRDD { rdd =>{ 

     val fields = new Array[StructField](1) 
     fields(0)=(DataTypes.createStructField("text", StringType, true)) 
     val schema = DataTypes.createStructType(fields) 
     val df= sqlContext.createDataFrame(rdd, schema) 
}} 

Answer 1

は、最初の単語だけが保存されているが含まれていますx.split（ ""）。

フィールドを1つ作成しました。

コードを次のように変更します。

val splited_test=texts.transform(rdd => rdd.map(x=> Row.fromSeq(Seq(x))))