にエクスポートしています。私は自分の問題に対して適切な答えを探していますが、正確で適切な答えが見つかりませんでした。大文字のベクトルをCSVファイルとしてR
私は大きな文字ベクトル(約4百万の要素、3GB以上の大きさ)を持っています。私は出力/この大きな文字ベクトルを各要素が行を表すCSVファイルとしてエクスポートします。
このファイルをwrite.table
,write.csv
またはwrite.csv2
とエクスポートすると、メモリ割り当ての問題が発生します。
今のところ、私はRSQLite
パッケージとfwrite
機能をdata.table
パッケージから試しました。どちらもさまざまな理由で機能していないようです。
RQSLite
のアプローチには処理に4時間かかり、最終的にはそれを強制終了しなければなりませんでした。fwrite()
関数は、入力としてdata.frame
を要求します。大きな文字ベクトルをdata.frameに強制しようとすると、メモリの問題が再び発生しました。
誰でもこの問題の良いアプローチを知っていますか?
(私は、Windowsの64ビットマシン、16ギガバイトRAM、500ギガバイトSSDの午前とRのバージョン3.2.5を実行)
Windowsの場合、 'memory.size()'を見てください。 – epi99
'x < - list(x);を実行するとどうなりますか? setDT(x) 'を実行してから' fwrite'を使いますか?また、メモリの問題? –
私は@docendodiscimusの解決策を最初に試してみましょう。それでも問題がある場合は、いつでも 'for'ループ内で一度に100,000個の要素しかない小さな断片に分割することができます。 – Benjamin