QHash大量のデータを保存する

Question

struct {int、int、int、int}型のエントリが10,000,000件ありました。私はQHashまたはQMapを使用してそれらを格納するとき、それは確かに、それはおよそ

10,000,000 * 4 * 4 (sizeof integer) <= 153 MB 

を取る必要があり、大量のメモリを占有しているが、私は私のデータをロードしたときにこれが発生し、どのように、なぜそれが、QHashとQMapの両方のために約1.2 GBになります速度とメモリの両方で最適化できますか？（他のデータ構造やqmapやqhashへのいくつかのトリックを通して）

Answer 1

コメントには、別の4つのintをキーとして使用していると言われています。実際には8個のintを格納するのではなく、4個を格納しています。それ以外は、QHashはキーに基づいて値を効率的に検索するためにハッシュの値を格納する必要があります。ハッシュは符号なし整数なので、4バイトごとに9個の値が得られます。最大350 MBの合計です。

また、内部QHash又はQMapはdata structure alignment requirementsを満たすために、例えば、その要素の間にいくつかのパディングを使用してもよいです。パディングは1バイトの乗数です。つまり、10万の要素の場合、を少なくともの数十メガバイト追加することがあります。

はまた、QHashとQMapは単なる生のデータではありません - 彼らは両方など、その内部データ構造への追加のポインタを使用し、まだ単一のエントリは、あなたが予想より多くのスペースを取ると別の理由です。

膨大なデータサイズの別の原因は、効率の理由から、これらのクラスにいくつかの追加の値を保存して、メソッドのいくつかを呼び出すときにあらかじめ計算される可能性があるということです。

最後に、QHashは、効率の理由から（不要なコピーを避けるために）、現在の要素よりも多くのメモリを予約します。私は、コピーがより高価になるので、サイズが大きければ大きいほど、ちょうどその場合に備えてより多くのメモリが必要になると思います。 capacity（）メソッドを呼び出すことで、予約済みのメモリを事前に確認することができます。予約されているメモリの量を制限する場合は、squeeze（）メソッドを呼び出して、現在格納されている要素を格納するのに十分なだけメモリを調整します。