spark-csv

-1熱

1答えて

spark_csvパッケージを使用してpysparkのtsvファイルを読み込もうとしています。私のスパークバージョンは1.6.3です。私のデータセットでは、2つの列は同じ名前です。私はデータを読むために次のコードを使用しています。私は、コードの上に使用して読んだとき、私は次の例外を取得 temp=sqlContext.read.load(data_file, format='com

0熱

3答えて

スパークは以下

は私のcsvファイルの内容の最初のローにnull値を持つ列を読み取れません： A1,B1,C1 A2,B2,C2,D1 A3,B3,C3,D2,E1 A4,B4,C4,D3 A5,B5,C5,,E2 ので、5列が、最初の行の唯一の3つの値があります。私は、次のコマンドを使用して、それを読む： val csvDF : DataFrame = spark.read .option("h

0熱

1答えて

スパークデータフレームcsv出力とUTF-8-BOMエンコーディングでの特殊文字区切り文字の追加方法

"|^|"デリミタを使用してスパークデータフレーム出力をcsvファイルに書き込む必要があります。私はこれをやろうとしています。 df.write.format("csv").option("delimiter", "\\|\\^\\|") しかし、エラーの下 java.lang.IllegalArgumentExceptionが取得：区切り文字のためにサポートされていない特殊文字：\ | \

1熱

2答えて

spark csvデータフレームの列を削除する

私はすべてのフィールドに連結するデータフレームを持っています。連結後、別のデータフレームになり、最終的にその出力を2つの列に分割されたcsvファイルに書き出します。その列の1つが、最終出力に含めたくない最初のデータフレームに存在します。ここで私のコードです： val dfMainOutput = df1resultFinal.join(latestForEachKey, Seq("LineIt

1熱

1答えて

火花データフレームのパーティションごとのレコードをxmlファイルに書き込む

火花データフレームのパーティションごとにファイル内のレコード数を計算する必要があり、出力をXMLファイルに書き込む必要があります。ここは自分のデータフレームです。 dfMainOutputFinalWithoutNull.coalesce(1).write.partitionBy("DataPartition","StatementTypeCode") .format("csv")

1熱

2答えて

sqlContext.read.loadとsqlContext.read.textの違いは何ですか？

テキストファイルをpyspark RDDに読み込もうとしていますが、sqlContext.read.loadとsqlContext.read.textの間に大きな違いがあることに気づいています。 s3_single_file_inpath='s3a://bucket-name/file_name' indata = sqlContext.read.load(s3_single_file_inp

0熱

1答えて

CSV形式で保存するとスペースが無視されません

DataframeをCSVファイルとして保存しようとしていますが、スペースを残したいと思います。私はSpark 2.1.1を使用していますが、CSVファイルとして保存しようとすると、すべてのスペースが削除されます。これらのオプションを試しましたが、動作しませんでした。 option("ignoreLeadingWhiteSpace",false") .option("ignoreTra

2熱

3答えて

Sparkで単一の（通常の）csvファイルとしてデータを書き込む方法は？

ローカルドライブにデータフレームをCSVファイルとして保存しようとしています。しかし、私がそうすると、フォルダが生成され、そのパーティション内にファイルが書き込まれます。これを克服するための提案はありますか？私の要件：コードで指定された実際の名前で通常のcsvファイルを取得するには：コードスニペット： dataframe.coalesce(1).write.mode("overwrite")

2熱

1答えて

ストリーミングデータセットのスキーマを動的に定義してcsvに書き込む方法は？

私はカフカからの読み取りおよびCSV case class Event(map: Map[String,String]) def decodeEvent(arrByte: Array[Byte]): Event = ...//some implementation val eventDataset: Dataset[Event] = spark .readStream .f