IntelliJ IDEAローカルモードでスパークコードを実行しました。

Question

ローカルモードのIntelliJ IDEAでLogisticRegressionのスパークの例を実行すると、ローカルファイルパスが見つかりません。感謝してください。ロード機能よりも

val conf = new SparkConf().setAppName("Titanic").setMaster("local") 
val sc = new SparkContext(conf) 
val sqlContext = new SQLContext(sc) 

：ここ

はENV-int型のコードである

def load(path: String, sqlContext: SQLContext, featuresArr: String*): DataFrame = { 
var data = sqlContext.read.format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load(path) 
    .toDF(featuresArr: _*) 
return data} 

私はこのような負荷の関数を呼び出す：

var train_data = load("file://D:/spark-works/input/train.csv", 
    sqlContext, 
    "PassengerId", "Survived", "Pclass", "Name", "Sex", "Age", "SibSp", "Parch", "Ticket", "Fare", "Cabin", "Embarked").cache() 

パスパラメータIまた試みました： "input/train.csv"。しかし、決して働かないでください。

Answer 1

その古いものですが、同様の作業をしている間に問題が見られます。あなたがそれをまだ見つけていなければ。

var train_data = load("file://D:/spark-works/input/train.csv", 

は

var train_data = load("file:///D:/spark-works/input/train.csv", 

トリックはスラッシュを///されるべきです。

これが役に立ちます。