非常に大きなデータを扱うPythonプログラムを書いています。データを処理するにつれて、処理されたデータは配列に格納されます。配列は数百メガバイトまたはギガバイトまで容易に増加します。データベースでPythonを使用するにはどうすればよいですか?
私はPythonが配列のデータに連続してアクセスする必要があるため、このように設定する理由があります。配列が大きくなったり大きくなったりするので、プロセスは簡単にエラーになりやすく、非常に遅くなります。
アレイのようなデータベースを別のファイルやデータベースモジュールに保存し、必要に応じてアクセスする方法はありますか?
おそらく、これは非常に基本的な作業ですが、私はヒントはありません。
どのくらいの頻度では、このデータにアクセスしていますか?線形アクセスですか?ランダムアクセス? – ubik
ちょうど興味のために、プログラムはピークレベルでどれくらいのRAMを消費しますか? –
@ubikそれは第1段階で線形であり、第2段階ではランダムです。データを分析して配列を作成し、処理されるデータが多いほど配列は大きくなり、線形的に処理されます。その後、配列内の値は、他の値を計算するために連続的かつランダムにアクセスされます。 – ytrewq