JSONの保存、取得、照会までは大したことではありません特に、MongoDB &カサンドラのようなNoSQLソリューションでは、実際、MongoDBのようなプラットフォームでは、JSON自体に直接クエリを行うことができます。実際には、そのデータをJSONドキュメントとして保存して、かなりうまく実行します。 (私はあなたが大規模な規模について話しているとは思わないと思っていますが、少なくともまだはありません)。
MongoDBのようなシステムは、あなたにとって苦労しています。頻繁な文書をメモリにロードしたり、サイズを最適化したり、巨大なフットプリントなしで大きなJSON文書をトラバースする仕組みを提供したりするのに効果的です。
これをファイル単位のレベルで処理するのであれば、予想外の問題が多く発生することになります。ファイルハンドルを管理し、同時読み取りでの読み取り/書き込みロック、ファイルシステムのアクセス許可、ディスクI/Oパフォーマンスのボトルネックを処理することを監視する必要があります。最近のWebサーバーでも、ファイル処理のパフォーマンスを管理するための非常に興味深い最適化を行った昼夜のファイルを扱う最近では、エッジでのパフォーマンスを最適化し、規模を管理するためにCDN(Content Delivery Networks)
以前のバージョンのJSONデータを保持するのは、既存のエントリを上書きせず、前の(n-2)バージョンの削除をマークするだけで簡単です。これは、不要なデータを削除するために、別のスレッドで「クリーンアップ」または一括処理を一晩中行うことができます。 (注:これはラインの下で断片化する可能性がありますが、後で圧縮することができるものです)。
したがって、ストーリーは短いです。私はもはやファイルシステムにJSONを保存しません。それをMongoDBのようなものに入れて、それに頑丈な細部を扱わせてください。あなたが実際に1B +トランザクションになるまで、これはおそらくあなたのためにはうまくいくはずです。