回帰モデルの高次元縮小に対応できる方法はありますか？

Question

私は巨大な約15GBの訓練データセットを持っています。これは、あらゆるタイプの回帰モデルを訓練するために私のコンピュータメモリに適合させることができません。データセットの各サンプルは4dマトリックスです。サンプルをベクトルとして平坦化できますが、そのベクトルの次元は非常に大きくなります。線形回帰モデルをトレーニングするために私のサンプルの次元を減らす方法はありますか？

Answer 1

リニアモデルを使用しているため、次のようにテストすることをおすすめします。これは最終的な解決策への一歩であり、最終的な解決策がどのように見えるかを知るはずです。

各ディメンションの最大値、最小値、および中央値を持つようにデータをフィルタリングします。これは、計算上合理的なサイズの作業データセットを生成し、その小さなデータセットを回帰することで、最終的な解パラメータの実用的な考え方を得ることができます。