各サンプルを正確に取得する

Question

評価データセットでモデルのパフォーマンスを監視するために、.tfrファイルのファイル名待ち行列にtf.train.string_input_producerを使用しています。次に、固定サイズのバッチを生成するtf.train.batch関数。

私の評価データセットには、正確に761の例（素数）が含まれているものとします。すべてのサンプルを正確に読むためには、761を分けるバッチサイズを持っていなければなりませんが、1はそれほど遅く、761はGPUに収まらないという点を除いてはありません。各サンプルを一度正確に読み取るための標準的な方法はどれですか？

実際には、私のデータセットのサイズは761ではありませんが、それを正確に分割する50-300の妥当な範囲の数字はありません。また、私は多くの異なるデータセットで作業しています。それぞれのデータセットのサンプル数をほぼ分ける数値を見つけることは面倒です。

tf.train.string_input_producerにnum_epochsパラメータを使用しても問題は解決しないことに注意してください。

ありがとうございます！

Answer 1

reader.read_up_toはthis exampleのように使用できます。最後のバッチは小さくなりますので、ネットワークでバッチサイズがハードワイヤリングされていないことを確認する必要があります。