LSTMの3D Numpyアレイオンデマンドを生成する方法

Question

現在、夏のプロジェクトにKerasを使用して実装された「シンプルな」LSTMネットワークを使用しようとしています。与えられたサンプルコードを見ると、LSTMコードはあらかじめ生成された3D numpy配列を必要としているようです。私が使用したいデータセットとそれに関連する時間間隔は両方ともかなり大きいので、「完全な配列」を一度にロードすることは非常に禁止的です。生データセットをロードし、ネットワークの必要に応じてシーケンシングトランスフォームを適用することは可能ですか（この場合はxタイムインターバルウィンドウから3D配列を作成し、毎回1ずつ増やします）。もしそうなら、あなたはこれをどうやってやりますか？

ご協力いただきありがとうございます！

Answer 1

私はユーザーrocketknightのKeras slackでこれに対する答えを見つけました。 model.fit_generator関数を使用します。主要なpythonスクリプトのどこかにジェネレータ関数を定義して、データのバッチを「生成」します。次に、この関数をmodel.fit_generator関数の引数で呼び出します。