スパークCSVエスケープが動作しない

Question

私はspark-coreバージョン2.0.1をScala 2.11で使用しています。 \ escapesを持つcsvファイルを読むための簡単なコードがあります。

val myDA = spark.read 
     .option("quote",null) 
    .schema(mySchema) 
    .csv(filePath) 

ドキュメントごとに\ csvリーダーのデフォルトのエスケープです。しかし、それは動作しません。スパークはデータの一部として\を読んでいます。例：csvファイルのCity列は北岩\、auです。私は都市の列がnorthrocks、auとコードで読まれることを期待しています。しかし、火花はそれをnorthrocks \と読み取り、auを次の列に移動します。私は、次の試してみましたが、うまくいきませんでした

：

• 明示的に定義されたエスケープ.OPTION（ "エスケープ"、 "\"）
• 変更脱出へ|または：私は火花CSVライブラリー

同じ問題に直面していずれかを使用してみましたが、ファイルに、コード

に？何か不足していますか？

ありがとうございました

Answer 1

だから、エスケープは引用符でのみ動作します。あなたがエスケープしたい場合は、引用符を使用することをお勧めします。

https://github.com/databricks/spark-csv/issues/390