Zeppelinでspark-csv依存関係を追加するとネットワークエラーが発生しています。 私はZeppelinのSpark通訳に行き、Spark-csvの依存関係を追加しました。 com.databricks:spark-csv_2.10:1.2.0
。引数オプションにも追加しました。Zeppelinでspark-csv依存関係を追加するとネットワークエラーが発生する
私はツェッペリンを再起動し、次のコマンドを実行しました:
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true") // Use first line of all files as header
.option("inferSchema", "true") // Automatically infer data types
.load("https://github.com/databricks/spark-csv/raw/master/src/test/resources/cars.csv")
df.printSchema()
私が正しく依存関係を追加していますか?
UPDATE
com.databricks:spark-csv_2.11:jar:1.6.0
にライブラリを変更しようとしましたし、次のようだ:通訳のためのプロパティを設定する
エラー「spark.spark」:火花csv_2.11:瓶アーティファクトcom.databricksが見つかりませんでしたが:あなたはScalaの2.10のために構築されたほかに、かなり古いライブラリバージョンを使用ように見え、中央で1.6.0(http://repo1.maven.org/maven2/)
あなたが提案したパッケージに変更しようとしました。スパークはそれを見つけることができませんでした。 – rastacide
私はタイプミスをしました、適切なバージョンは '1.5.0'です(更新された答えを見てください)。申し訳ありません;-) – Mariusz
それは働いた!ありがとうございました! – rastacide