TFRecordファイルに含まれるエントリの総数を取得するにはどうすればよいですか？

Question

私はtensorflowでTFrecordファイルを読み書きできます。 TFRecordファイルに含まれるエントリの総数をすばやく取得するにはどうすればよいですか？カウントを取得するAPIはありますか？

Answer 1

TFRecords file formatは基本的形式の構造体の配列である。

struct TFRecords { 
    uint64_t length; 
    uint32_t length_checksum; 
    uint8_t data[length]; 
    uint32_t data_checksum; 
} × N 

ありありますどのように多くのエントリを伝えるために何のメタデータがありませんので、合計を取得する唯一の確実な方法は、ファイル全体を読むことです（したがって、すぐに合計を取得するAPIはありません）、num_records_produced()に電話してください。

TFRecordsを作成するときに、その番号を含むカスタムメタデータを最初のレコードとして書き込むことができます。

すべてのレコードの長さが同じであれば、エントリ数はdecompressed_file_size/(length_of_each_record + 16)になります。