TFRecordsとレコードのシャッフル

Question

各エポックのトレーニングサンプルをシャッフルして、各ミニバッチにデータセット全体の素敵なランダムサンプルが含まれるようにすることを私は理解しています。データセット全体をTFRecordsを含む1つのファイルに変換すると、データセット全体をロードするにはいかがですか？私の理解は、TFRecordファイルへの効率的なランダムアクセスがないことです。したがって、具体的には、このシナリオでTFRecordファイルがどのように使用されるかについてのガイダンスを探しています。

Answer 1

それはありません - 入力を複数の入力データファイルにシャーディングしてから、それを処理することができます。as explained in this answer。

"完璧な"シャッフルに近いものが必要な場合は、それをメモリに読み込む必要がありますが、実際にはほとんどの場合、100または1000ファイルに分割するだけで十分にシャッフルできます。 8〜16ファイル分のデータを保持するのに十分な大きさのシャッフルキューを使用します。

私は、ディスクにこぼれる可能性のあるランダムランダムシャッフルキューを作成するために頭の後ろにかゆみがありますが、それは私の優先順位リストでは非常に低いです - 誰かが貢献したい場合は、それ。 :)

Answer 2

実際には、TFRecordsに保存する前にシャッフルについて心配する必要はありません。 TFRecordsを読むには（現在）推奨されている方法はtf.data.TFRecordDatasetで、.shuffle()メソッドを実装しているからです。