使用機械学習アルゴリズムデータ構造（メモリ）

Question

免責事項：私の質問は何とかナイーブであれば、私は機械学習の分野にかなり新しいですので、私に を許して...私はすでにこのことについてインターネット で検索しました私はここで尋ねているので興味深いものは何も見つかりません....

私はMLアルゴリズムがデータを保存する方法として考えることができますか？ 何千もの小数点のPI（「https://www.quora.com/What-is-the-smallest-C-program-generating-pi-without-using-the-math-library」など）を「含む」：PIの最初の1000小数点の「圧縮」バージョンです。

同様に、ML（例えば、ディープ・ニューラル・ネット）は情報を格納しているようです。ディープニューラルネットにいくつのビットが格納されているかを調べることはできますか？ MLアルゴリズムのデータ構造を使用して情報を圧縮し、後で取り出すことはできますか（100％正確でない場合でも） ...

これらの可能性を議論する論文がありますか？

感謝:)あなたはPIの完全な（infinitly長い）の情報をpostetリンクで

Answer 1

小数だけでなく、保存された1000年れます。しかし、それをすべて得るには、無限の時間/反復が必要です。

あなたの質問に： あなたが言及したように、学習者/分類子は、それらを訓練するデータについての情報を保存します。しかし、その目的は元のデータを元に戻すのではなく、新しいデータを分類/評価することです。だから注意して私は言う： "いいえ、我々は単純にAIアルゴリズムでデータを圧縮して元の背中を得ることはできません"。

特別なケースの1つはK-Nearest-Neighborアルゴリズムです。 ここで元のデータを復元することはできますが、そのデータは圧縮されていませんが、高次元データポイントの形式で保存されているためです。

質問の最も難しい部分は、分類器（ディープニューラルネットワーク）に格納されている情報をどのように定量化できるかです。 Hopfield-Network（画像/パターンを保存および認識しますが、ディープニューラルネットワークではありません）の場合、保存されたパターンとそのサイズを数えて情報を数値化することができます。意思決定ツリーの場合は、ルール（および各ルールの情報獲得の可能性があります）を数えます。ニューラルネットワークの場合は、ニューロンの数を取ることができ、それぞれのエントロピーまたはすべてのエントロピーを取ることができます。しかし、訓練された学習アルゴリズムに格納されている情報を指定するためには、本当に難しい質問に答えることができます。

私はあなたの質問のいくつかにちょっと答えてくれることを願っています。

乾杯