大きなJSONファイルから最後の数文字を削除します

Question

私はいくつかの巨大な（2GB以上の）JSONファイルが,\n]で終わっています。私は,\nを削除してから]に戻って追加する必要が

test.json

":{"value":false}}}}}}, 
    ] 

：ここでは2ギガバイトJSONファイルの最後の25個の文字である、私のテストファイルの例です。最終行の最後の3文字。ファイル全体は3行で表示されます：前括弧と末尾括弧はそれぞれ独自の行にあり、JSON配列のすべての内容は2行目にあります。ファイルがあまりにも大きいため

string[0..-2] 

：

は、私のような何かをメモリにストリーム全体をロードすることはできません。私は、Rubyのを含め、several approachesを試してみました：

chomp!(",\n]") 

とUNIXの：

sed 

どちらも私のJSONファイルへの変更をしませんでした。

ともなかったが：

ls -l 

新旧ファイルのバージョンのバイトサイズが同じであったことを確認するために私が行って、最後の25個の文字を見ました。

これらのアプローチのいずれも機能していない理由を知ってもらえますか？

Answer 1

このような外科手術をしたい場合は、ファイル全体を読む必要はありません。代わりに、あなただけのファイルの最後の数バイトを上書きすることができます。

file = 'huge.json' 

IO.write(file, "\n]\n", File.stat(file).size - 5) 

ここで重要なのは、端からあなたはバックトラックとしてアウトなど、多くのバイトを書くことで、そうしないと、ファイルの長さをトリミングする必要があります、必要であればtruncateでそれを行うこともできます。