Protobufバイナリ形式のデザイン：パフォーマンスとvarint

Question

科学アプリケーションからデータを保存するにはバイナリ形式を設計する必要があります。このデータは、他のアプリケーションでは容易に読み取ることができないバイナリ形式でエンコードする必要があります（クライアントの一部の要件です）。結果として、独自のバイナリ形式、そのエンコーダとそのデコーダを構築することにしました。

protobufを含む多くのバイナリ形式からインスピレーションを得ています。 protobufが埋め込まれたメッセージの長さをエンコードする方法です。 https://developers.google.com/protocol-buffers/docs/encodingによれば、埋め込まれたメッセージのサイズは、最初はvarintとしてエンコードされています。 しかし、埋め込まれたメッセージをエンコードする前に、そのサイズはまだわかりません（varintとしてエンコードされた多数の整数を含む埋め込みメッセージの例を考えてください）。その結果、メッセージをディスクに書き込む前にメッセージを完全に符号化して、そのサイズを知る必要があります。 このメッセージは膨大であると想像してください。結果として、効率的な方法でそれを符号化することは非常に困難である。埋め込まれたメッセージが書き込まれたら、このサイズを完全なintとしてエンコードしてファイルのこの部分に戻すことができますが、varintのniceプロパティが緩和されています.32ビットまたは64ビット整数。したがって、varintを使用してGoogleの実装に戻る：

実装方法がありませんか？この方式は大きなメッセージでは効率が悪いですか？

Answer 1

はい、これを行う正しい方法は、最初にメッセージをバッファの後ろに書いてから、サイズを前に付けることです。適切なバッファ管理によって、メッセージを逆に書くことができます。

しかし、なぜprotobufを使うことができるときに自分のメッセージフォーマットを書いていますか？ Protobufを直接使用し、ファイル形式を暗号化する方が良いでしょう。それはあなたが使いやすく、他のアプリケーションが読むのが難しいでしょう。