Keras：HDF5とCSVからミニバッハをロードする

Question

私は大きなデータセットを持っていますが、大きすぎるとRAMに収まりません。HDF5またはCSVとして利用できます。 minibatchesでKerasにどのようにフィードできますか？また、これは私のためにそれをシャッフルするか、またはデータセットをあらかじめシャッフルする必要がありますか？私は前にKerasにいくつかの軽量な前処理を行いたい場合

そして、;

（Kerasので、私が入力ndarrayになりたいと考えていた入力がnumpyののrecarrayあるとき、私はまた、このに興味があります。） （例えば、表現を変更するためにいくつかのPython関数をデータに適用する）、追加することができますか？

Answer 1

はここKerasで利用可能なfit_generator方法を見てください：https://keras.io/models/sequential/#sequential-model-methods それはデータにモデルをフィット（発電機があなたのコントロール下にあるので、どこに、シャッフルロジックを記述することができます）Pythonのジェネレータによってバッチでバッチ生成されました。

ジェネレータ自体でコール前処理を適用することができます。

これが役に立ちます。