UTF-8エンコーディングでCSVファイルを解析するには？

Question

私はSpark 2.1を使用します。

入力csvファイルは、このCSVファイルを解析中

の下に表示のようなUnicode文字を含む、出力が

私はビューにMSエクセル2010を使用

以下のように示されていますファイル。

Javaコード使用は、私が入力と出力が同じで取得できますか

@Test 
public void TestCSV() throws IOException { 
    String inputPath = "/user/jpattnaik/1945/unicode.csv"; 
    String outputPath = "file:\\C:\\Users\\jpattnaik\\ubuntu-bkp\\backup\\bug-fixing\\1945\\output-csv"; 
    getSparkSession() 
     .read() 
     .option("inferSchema", "true") 
     .option("header", "true") 
     .option("encoding", "UTF-8") 
     .csv(inputPath) 
     .write() 
     .option("header", "true") 
     .option("encoding", "UTF-8") 
     .mode(SaveMode.Overwrite) 
     .csv(outputPath); 
} 

のですか？

Answer 1

私の推測は、入力ファイルがUTF-8ではないため、間違った文字を取得しています。

私の推薦は、（まったくスパーク付き）、純粋なJavaアプリケーションを作成し、読み取りと書き込みがUTF-8エンコーディングと同じ結果をもたらすかどうかを確認することです。

Answer 2

sparkを使用してISO-8859-1を読み取ることができましたが、S3/hdfsに同じデータを保存して読み取ると、その形式はUTF-8に変換されます。

例：é to é

val df = spark.read.format("csv").option("delimiter", ",").option("ESCAPE quote", '"'). option("header",true).option("encoding", "ISO-8859-1").load("s3://bucket/folder")