Pythonでビッグアレイをどのように扱うのですか？

Question

私は、SqliteデータベースからPythonで大きな配列を作成する必要があります。サイズは1000_000_000 * 1000_000_000で、各項目は1または0です。実際には、私のコンピュータは、この量の情報をRAMに格納することはできません。たぶん誰かがこのような状況で働く方法を知っていますか？たぶんこれらのベクトルをデータベースに格納するか、同様のニーズのためのフレームワークがありますか？私はこれを行うことができれば、私はクラスタを構築する必要があります、この問題は、この情報のサイズで、私にはそれほど恐怖を感じません。 あらかじめありがとう/

Answer 1

私はまた、本当に大きなデータセット（完全なゲノムまたはすべての可能な遺伝子の組み合わせ）と一緒に働き、これらをピックル付きの圧縮データベースに保存します。この方法ではRAM効率が良く、ハードディスクのメモリ使用量が少なくなります。 私はそれを試してみることをお勧めします。