ケラスで巨大モデルの開始を訓練する

Question

私は400,000以上のイメージを持つ開始モデルを訓練する必要があります。

私はそれが大きすぎるので、私はメモリにすべてを読み込むことはできません知っている。 私は確かに、エポックではなく、バッチでそれを訓練します（そして、ディスクからすべてのバッチをロードします） しかし、それは非常に遅くなりますか？

別の方法があるかどうか知っていますか？

また、トレーニング中に私の画像に違った視覚的な変換を適用したいと考えています。 私はdataimagegeneratorクラスを調べましたが、それは私が持っているすべての画像と互換性がありません。 それで、発電機なしでそれをする方法がありますか？

ありがとうございます！

Answer 1

モデルのfit_generatorメソッド（https://keras.io/models/model/#fit_generator）を使用できます。これはメモリからイメージをロードしますが、これは並行して行われ、オーバーヘッドは少なくなります。独自のジェネレータを作成して、変換を適用することができます（https://wiki.python.org/moin/Generators）。

高速なメモリアクセスが必要な場合は、hdf5をご覧ください。イメージをhdf5に保存して、プログラムのインデックス作成と読み込みを高速化できます。 （http://www.h5py.org/）