spark-csv

0熱

1答えて

apache sparkでローカルファイルを読み取るときにエラーが発生しました。スカラ>ヴァル・F = sc.textFile（ "/ホーム/ Clouderaの/ダウンロード/ SAMPLE.TXT"） f: org.apache.spark.rdd.RDD[String] = /home/cloudera/Downloads/sample.txt MapPartitionsRDD[9] at

-1熱

2答えて

spark csvパッケージのinferSchema

私はinferSchemaを有効にすることでspark dfとしてcsvファイルを読み込もうとしていますが、fv_df.columnsを取得できません。以下はエラーメッセージです >>> fv_df = spark.read.option("header", "true").option("delimiter", "\t").csv('/home/h212957/FacilityView/data

3熱

2答えて

すべてのフィールドを引用してCSVを保存するにはどうすればよいですか？

以下のコードでは、デフォルトの二重引用符は追加されません。私はまた、オプションquoteを使って＃と一重引用符を追加しようとしましたが、成功しませんでした。私もquoteModeをALLとNON_NUMERICのオプションで使用しましたが、出力は変わりません。 s2d.coalesce(64).write .format("com.databricks.spark.csv")

1熱

1答えて

寄木細工のスキーマとスパーク

私はCSVファイルを寄せ木に変換しようとしており、これを達成するためにSparkを使用しています。 SparkSession spark = SparkSession .builder() .appName(appName) .config("spark.master", master) .getOrCreate(); Dataset<Row> logF

0熱

1答えて

Databricks Spark CSVヘッダー区切り文字

私たちのcsvファイルの形式は、^ Aを列区切り記号、^ Bを行区切り記号/レコード区切り記号としています。は、だから私はデータフレームを作成するには、次のようdatabricksスパークのcsvライブラリを使用しています：ヘッダのオプションについては、 val dataFrame = cassSqlContext.read.format("com.databricks.spark.csv")

1熱

1答えて

SparkでS3からネストされたcsvファイルをロードする

ロードしようとしているs3に数百のgzipされたcsvファイルがあります。ディレクトリ構造は、次のようになります。 bucket -- level1 ---- level2.1 -------- level3.1 ------------ many files -------- level3.2 ------------ many files ---- level2.2 -----

3熱

1答えて

エラースパークのcsvパッケージで非常に大きなファイルを読みながら

私たちは一つに火花-CSVとunivocity 1.5.0パーサを使用して、その列を複数の改行文字を持っている3ギガバイトのファイルを読み込むしようとしているが、ファイルはスプリットを得ています改行文字に基づいていくつかの行の複数の列。このシナリオは、大きなファイルの場合に発生します。 2015年1月20日にFAILFAST： sqlContext.read .format("com.d

0熱

1答えて

は、データフレームのスパークに私は手動でここで私は、ヘッダーと最初の列を追加したいデータフレームを持っている

ハイテク男をヘッダーと列を追加データフレーム val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() val df = spark.read.option("header",true).option("inferSchema",true).csv("C:\\gg.csv").ca

1熱

2答えて

Spark 2.1でCSVのベクトルフィールドを書き込めません

データフレームの保存に関する問題が発生したとき、Spark 2.0から2.1にコードを移行していました。ここでこのコードは、スパーク2.1.0.cloudera1を用いたスパーク2.0.0 を使用しているとき、私は次のエラーを取得する成功コード import org.apache.spark.sql.types._ import org.apache.spark.ml.linalg.Vecto