C++で大きすぎる配列を作成すると、どのように解決できますか？

Question

最近、私はC++で作業し、array[60.000][60.000]を作成する必要があります。しかし、それは大きすぎるので、私はこの配列を作成することはできません。私はfloat **arrayまたはstatic float arrayを試しましたが、何も良いことはありません。誰にもアイデアはありますか？ あなたのお手伝いをありがとう！

Answer 1

サイズ60,000 x 60,000のマトリックスは、3,600,000,000エレメントを持っています。

あなたがタイプfloatを使用しているので、それは次のようになります。

60,000 x 60,000 * 4 bytes = 14,400,000,000 bytes ~= 13.4 GB 

は、あなたもあなたのマシンにはその多くのメモリを持っていますか？

---

スタック対ヒープの問題は、十分なメモリがなければ問題ではありません。

---

ここでは可能性のある問題のリストです：

• あなたは十分なメモリを持っていません。
• 行列がグローバルに宣言されている場合は、バイナリの最大サイズを超えます。
• マトリックスがローカル配列として宣言されている場合は、スタックを爆破します。
• 32ビット用にコンパイルしている場合、2GB/4GBのアドレッシング制限をはるかに超えています。

Answer 2

したいfloatの2次元配列を初期化するために、あなたが必要となります。

60000 * 60000 * 4約メモリの14ギガバイトであるバイト=144億バイト

。それはたくさんの記憶です。それを理論的に保持するには、かなりのRAMをインストールしたマシンはもちろんのこと、64ビットマシンを稼働させる必要があります。

さらに、このような多くのメモリを割り当てることは、ほとんどの場合ほとんど必要ではありません。ここでは最適化を行うことはできませんか？

EDIT：他の回答で、あなたのコメントから新しい情報の光で

：あなたが唯一の4GBのメモリ（RAM）を持っています。あなたのオペレーティングシステムは、ハードドライブ上で少なくとも9GBのページングを行う必要があります。しかし、ハードディスクの容量は20GBしかありません。これは、特にディスクが断片化している場合は、すべてのデータをページングするだけで十分です。最後に、明示していないので間違っている可能性があります。これは、32ビットマシンを実行している可能性が非常に高いです。これは一度に4GB以上のメモリを実際に処理することはできません。

Answer 3

実行時にメモリを割り当てます。メモリマップファイルをバッキングとして使用することを検討してください。誰もが言っているように、14ギグはたくさんの記憶です。しかし、14GBのメモリを持つコンピュータを見つけ出すことは不合理ではなく、必要に応じてメモリをページングすることも無理なことではありません。

このサイズの行列を使用すると、メモリアクセスのパフォーマンスが非常に気になる可能性があります。ターゲットアーキテクチャのキャッシュグレインを考慮することを忘れないでください。ターゲットにTLBがある場合は、大きなページを使用してTLBの負荷を軽減できます。また、十分なメモリがない場合は、ストレージI/Oがどれだけ速いかだけ気になるでしょう。

まだ明らかでない場合は、このメモリに直接/便利にアクセスするために64ビットのアドレス空間をサポートするアーキテクチャが必要です。

Answer 4

"60.000"は実際に "60000"を意味しますか？その場合、必要なメモリのサイズは60000 * 60000 * sizeof(float)で、およそ13.4 GBです。典型的な32ビットプロセスはわずか2 GBに制限されているので、それが適合しない理由は明らかです。

一方、マシンに十分なRAMがあると仮定して、64ビットプロセスには対応できないはずがありません。