UTF-16LEエンコーディングでのcsvの高速読み込みメソッド

Question

私はUTF-16LEエンコーディングで.csvファイルを処理していますが、このメソッドはファイルの読み込みを行いますが、read.csvはread_csvと比較して非常に遅いです。

read.csv2(path,dec=",",skip=1,header=T,fileEncoding="UTF-16LE",sep="/t") 

残念ながら私はread_csvを動作させることはできません。空の行しか得られず、関数内でエンコードを指定する方法も見つけられません。

データを共有することはできませんが、このエンコーディングを扱っている人があれば、助けていただければ幸いです。

Answer 1

fread、data.tableパッケージから試すことができます。 freadはread_csvより高速です。コードは以下のようになります。

library(data.table) 
fread(path, fileEncoding="UTF-16LE") 

これが役立ちます。

Answer 2

ロケールオプション：locale=locale(encoding="UTF-16LE")のread_csvなどの読み取り機能でファイルエンコードを指定できます。しかし、私はutf-16leファイルをread_csvで読み込むことに成功していません。私は "不完全なマルチバイトシーケンス"エラーが発生します。関連するissue filedがありますが、私のファイルにはまだ問題があります。うまくいけば、他の人たちがもっと成功するでしょう。