サイズが大きいとQListがクラッシュする

Question

SQLテーブルから読み取ったデータを格納するためにQListを使用しています。テーブルには100万を超えるレコードがあります。私はそれらをリストに入れ、リスト上で何らかの処理をする必要があります。

QList<QVariantMap> list; 

QString selectNewDB = QString("SELECT * FROM newDatabase.M106SRData"); 
QSqlQuery selectNewDBQuery = QSqlDatabase::database("CurrentDBConn").exec(selectNewDB); 
while (selectNewDBQuery.next()) 
{ 
    QSqlRecord selectRec = selectNewDBQuery.record(); 
    QVariantMap varMap; 
    QString key; 
    QVariant value; 
    for (int i=0; i < selectRec.count(); ++i) 
    { 
     key = selectRec.fieldName(i); 
     value = selectRec.value(i); 
     varMap.insert(key, value); 
    } 
    list << varMap; 
} 

「qvector.h、行534：Out of memory」エラーが表示されます。

リストが< 1197762アイテムのサイズに達すると、プログラムがクラッシュします。私は予備（）を使用してみましたが、動作しませんでした。 QListは特定のサイズに制限されていますか？

Answer 1

C++ランタイムがメモリをそれ以上割り当てできないと報告したため、メモリが不足しています。 Qtのコンテナには問題ありません。コンテナは、インデックス用のintのサイズのため、2^31-1アイテムに制限されています。あなたはその近くにいません。非常に少なくとも

：

1. それはQVariantMap要素のためのはるかに低いオーバーヘッドを持っているとして、代わりにQListのQVectorを使用してください。

2. クエリで許可されている場合は、空き領域を確保しようとすると、メモリ要件がほぼ半分になります。

3. 可能であれば、64ビットターゲット用にコンパイルしてください。

QVector<QVariantMap> list; 

QString selectNewDB = QString("SELECT * FROM newDatabase.M106SRData"); 
QSqlQuery selectNewDBQuery = QSqlDatabase::database("CurrentDBConn").exec(selectNewDB); 
auto const size = selectNewDBQuery.size(); 
if (size > 0) list.reserve(size); 
while (selectNewDBQuery.next()) 
{ 
    auto selectRec = selectNewDBQuery.record(); 
    QVariantMap varMap; 
    for (int i=0; i < selectRec.count(); ++i) 
    { 
     auto const key = selectRec.fieldName(i); 
     auto const value = selectRec.value(i); 
     varMap.insert(key, value); 
    } 
    list.append(varMap); 
} 

Answer 2

あなたは十分なRAMを持っていない、または可能性が高いラムの4 GB以上を利用することができない32bit版Qtのビルドを使用しているのどちらか。あるいは両方とも。サイズ自体は、容器自体が20億以上の要素を扱うことができるはずです。

QListはどちらの場合でも役に立ちますが、実際のバリアントマップには、すべての要素をポインタとして格納し、追加のヒープ割り当てを行う可能性があります。したがって、かなりのヒープ割り当てオーバーヘッドが発生します。

クエリにはすでにかなりの量のデータが含まれているため、おそらくラムそのものをかなり食べるでしょう。

pagefileを無効にしていない限り、単独でRAMを使い果たしても、ページングを開始してパフォーマンスが低下しますが、稼働し続けるため、32ビットのメモリ制限に達する可能性がありますプロセスはわずか2GBにしかならないかもしれません。

答えでクバが示唆したこととは別に、クエリをより細かく分割し、可能な場合は1つずつクエリを実行し、結果を1つずつ処理してクエリ結果によって使用されるメモリであり、完了したらクエリのメモリを解放します。

リピート文字列が多い場合は、QStringからRAMに保存するオプションもあります。暗黙的に共有されているので、すべて同じ基本データを使用する一連の同一の文字列を持つことができます。一意の文字列のコレクションを保持するためにQSetを使用し、文字列が既に存在するかどうかを素早くチェックすることで、これを利用できます。次に、クエリ結果の文字列を使用する代わりに、セットの文字列を使用します。セットから値によってコピーされたすべての同一の文字列は、同じ文字列データを再利用します。これとは対照的に、現在のアプローチでは、複製されたn個の文字列ごとにn個のスペースが使用されます。