0
テキストファイルのデータをRDDとして読み込んでDataFrameに変換しても、目的の出力が得られません。ScalaでSparkのRDDからDataFrameへの変換中にTxtファイル内のデータを分割する問題
コード -
hyundai honda
honda maruti
maruti honda
出力 - テキストcar.txtファイル内
case class Text(field: String)
データクラス - ケースクラス
ケースです
val myFile = sc.textFile("car.txt")
val df = myFile.map(_.split(" ")).map(line => Text(line(0))).toDF()
df.show()
実行中 -
+-------+
| field|
+-------+
|hyundai|
| honda|
| maruti|
+-------+
DataFrameのテキストファイルからすべてのデータを取得できないのはなぜですか?あなたは、スペース上のsplit
ティンのデータがあり、その後だけが(最初の単語)の最初の要素を出力するため