50GB JSONファイルを読み込んで処理する

Question

私はJavaアプリケーションで読みたい50GBのJSONファイルを用意しています。各レコードはPOJOに変換され、1つずつキューに入れられて、別のアプリケーション。

通常、BufferedReaderを使用しますが、サイズに関するファイルのベストプラクティスが何であるか不思議です。私は現在Java.nioを見ています。それは適切だろうか？

また、1つのレコードが破損している場合、ファイルの処理を停止しないようにしたいと思います。私は1つの卵がバスケットを台無しにすることを望まない。

Answer 1

あなたが探しているものは、ストリーミング・デシリアライズです.Gsonを使用することができます。良い例はhttps://sites.google.com/site/gson/streamingを参照してください。