[OK]を、それは多くのオーバーヘッドを追加するのにだから私は、この問題への解決策を見つけました。
は当初、私はkerasコールバックが有用であることが、それは私が唯一のテストデータやすべてのテストのためのサブセットのみではなく上すなわち:電車を望んでいた柔軟性を提供しているという事実にもかかわらず、考えていました。コールバックにはログからの要約データしか与えられていないようです。
したがって、2つの配列(真値と予測値)を持つメトリックと同じ計算を行い、いったん計算が完了するとカスタムメトリックを作成すると、後で使用できるようにファイルに出力されますつかいます。私たちは、すべてのサンプルのすべてのデータを収集する方法を発見したら
そして、次のステップは、エラーの良い指標を与えることができる方法を実装することでした。私は現在、いくつかの方法を実装していますが、最も適合しているのはベイジアンブートストラップ(ユーザlmc2179は素晴らしいPython実装を持っています)です。またアンサンブル・メソッドとガウス・プロセスを代替として実装したり、他のメトリックやベイジアン・メソッドとして使用することもできました。
私は私が私のメトリックのトリガーを設定することができるかどうかを確認するためのトレーニングとテストの段階で設定されているkerasで内部があるかどうか探してみてくださいよ。すべてのデータを使用する際の主な問題は、ネットワークが最適化されていないため、最初は信頼できないデータポイントをたくさん取得することです。いくつかのデータフィルタリングは、エラー予測子の結果を改善するためにそれらのポイントのかなりの量を除去するのに役立ちます。
面白いことがあれば更新します。
あなたの質問は何ですか? – adrianmcmenamin
model.predict_proba? – Paddy
@Paddyベイジアン統計で得られるような連続的な出力についてもっと考えています。 –