値の読み取りはorg.apache.spark.SparkContextのメンバーではありません

Question

スカラーのバージョンは2.11.8です。 jdkは1.8です。スパークは、私がthe offical site of spark apacheでLDAモデルの例を実行しよう2.0.2

で、私は次の文からのエラーメッセージが表示されました：

val dataset = spark.read.format("libsvm") 
    .load("data/libsvm_data.txt") 

エラーのマッサージは、次のとおりです。

Error:(49, 25) value read is not a member of org.apache.spark.SparkContext val dataset = spark.read.format("libsvm") ^

私はそれを解決する方法がわかりません。

Answer 1

あなたの代わりにSQLContextまたはSparkSessionの、SparkContextにreadを呼び出そうとしているように見えます：

// New 2.0.+ API: create SparkSession and use it for all purposes: 
val session = SparkSession.builder().appName("test").master("local").getOrCreate() 
session.read.load("/file") // OK 

// Old <= 1.6.* API: create SparkContext, then create a SQLContext for DataFrame API usage: 
val sc = new SparkContext("local", "test") // used for RDD operations only 
val sqlContext = new SQLContext(sc) // used for DataFrame/DataSet APIs 

sqlContext.read.load("/file") // OK 
sc.read.load("/file") // NOT OK 

Answer 2

sqlcontext関数の完全な構文は

で

val df = sqlContext 
       .read() 
       .format("com.databricks.spark.csv") 
       .option("inferScheme","true") 
       .option("header","true") 
       .load("path to/data.csv"); 

以下の通りですあなたがcsvファイルを読み書きしている場合