2017-09-20 13 views
0

Zeppelinでspark-csv依存関係を追加するとネットワークエラーが発生しています。 私はZeppelinのSpark通訳に行き、Spark-csvの依存関係を追加しました。 com.databricks:spark-csv_2.10:1.2.0。引数オプションにも追加しました。Zeppelinでspark-csv依存関係を追加するとネットワークエラーが発生する

enter image description here

私はツェッペリンを再起動し、次のコマンドを実行しました:

import org.apache.spark.sql.SQLContext 

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") // Use first line of all files as header 
    .option("inferSchema", "true") // Automatically infer data types 
    .load("https://github.com/databricks/spark-csv/raw/master/src/test/resources/cars.csv") 
df.printSchema() 

enter image description here

私が正しく依存関係を追加していますか?

UPDATE

com.databricks:spark-csv_2.11:jar:1.6.0にライブラリを変更しようとしましたし、次のようだ:通訳のためのプロパティを設定する

エラー「spark.spark」:火花csv_2.11:瓶アーティファクトcom.databricksが見つかりませんでしたが:あなたはScalaの2.10のために構築されたほかに、かなり古いライブラリバージョンを使用ように見え、中央で1.6.0(http://repo1.maven.org/maven2/

enter image description here

答えて

1

(あなたの火花はそうどこ2.11になる)。

パッケージをcom.databricks:spark-csv_2.11:1.5.0に変更しても問題ありません。

+0

あなたが提案したパッケージに変更しようとしました。スパークはそれを見つけることができませんでした。 – rastacide

+0

私はタイプミスをしました、適切なバージョンは '1.5.0'です(更新された答えを見てください)。申し訳ありません;-) – Mariusz

+0

それは働いた!ありがとうございました! – rastacide

関連する問題