Spark ScalaがテキストファイルをDataFrameに読み込みます

ファイルを読み込んでDataFrameに保存したいと思います。私はRDD [Array [String]]に格納されているテキストファイルを読んでいます。Spark ScalaがテキストファイルをDataFrameに読み込みます

値DFがRDD [録音]私はこれをどのように解決することができ

のメンバーではありません。

val file = sc.textFile("/mockSmall.txt").map(line => line.split(",").map(_.trim)) 
case class record(eventName: String, date: String, counter: String) 
val solrDF: DataFrame = file.map{case Array(s0, s1, s2) => record(s0, s1, s2)}.toDF()

はしかし、私は、次のコンパイルの問題を取得しますか？注：私はspark 1.6を使用していますので、sparkSessionはありません。

出典

2017-05-18 Alessandro La Corte

[Spark 2.0 Scala - RDD.toDF（）]の重複の可能性があります（http://stackoverflow.com/questions/38968351/spark-2-0-scala-rdd-todf） – Rumoku

@Rumokuいいえ、それはありません。質問をよくお読みください。 –

あなたが見逃してしまった： 'import sqlContext.implicits._'注意深く関連するトピックを読んでください。 1.6でも動作します。またはドキュメントをチェックする... – Rumoku

あなたはspark.implicits._をインポートし、すべてがつもり大丈夫

編集することがあります：1.6.1ユーザーのために

sqlContext.implicits._

をインポートしてくださいまたは：sqlContext.createDataFrame instead

を使用

REFEREしてください詳細については公式SQL and DataFrames guidline

出典

2017-05-18 12:23:39

Spark ScalaがテキストファイルをDataFrameに読み込みます

答えて

関連する問題