R大容量のcsvをコンマで読み込み、readrまたはdata.tableにダブルバックスラッシュ付き

Question

大量のcsvファイル（17m行）をRにインポートする際に問題があります。readr::read_csvとdata.table::freadの両方を使用しようとしましたが、 。これは、列の1つにコンマを含むテキストが含まれているためです。 readLinesでファイルを読むと、テキスト内のカンマの前に二重バックスラッシュが付いているので無視する必要がありますが、いずれのパッケージも無視することはできません。 例は次のようになります。

id,title 
1,great expectations 
2,great expectations\\, the sequel 

Answer 1

これは美しいソリューションではありませんが、あなたは各行で最初のカンマを交換するinputにして、csvファイルを前処理シェルコマンドを渡すためにdata.table::freadの能力を活用することができ別の区切り文字：私はそれはfread()に渡される前にアンダースコアで各行の最初のカンマを交換するsedを使用しています。この例では

library(data.table) 
fread(input = "sed 's/,/_/' foo.csv", sep = "_") 

## id        title 
## 1: 1     great expectations 
## 2: 2 great expectations\\\\, the sequel 

。

これは、sedが利用可能なUNIXのような環境を使用していることを前提としています。