缶詰テンソルフロー推定器は、メモリに収まらないデータセットを訓練することはできますか？

Question

私はTensorflowの高レベルestimatorのインターフェイスを見て、wide_n_deep tutorialでかなりうまく歩いています。ストリーミング入力を許可していないようですが、メモリに収まらないトレーニングセットに必要と思っています。

ハイレベルAPIがこれをサポートしていますか？私は情報源を読んでいました。おそらく、配列の代わりにジェネレータを持つ入力関数を書くことができるかもしれませんが、おそらくコードがそれを排除しているようです。

P.S.並べ替えはthis questionに関連していますが、可能であれば高レベルのAPIに固執したいと思います。

Answer 1

高水準APIを使用して、TensorFlowを使用してメモリに収まらないデータを確実に調整できます。 Dataset APIを使用してください。 「Dataset APIはさまざまなファイル形式をサポートしているため、そのページのメモリに収まらない大規模なデータセットを処理できます。エスティメータでデータセットを使用する場合は、そのページで「input_fn」を検索します。