dbpediaデータの大量のダンプをC#アプリケーションにロードしようとしていますが、ロードするたびにメモリが不足します。巨大なDBpediaダンプをロード中に例外が発生しました
ファイルは非常に大きなテキストファイルで、何百万ものレコードが保存されており、そのサイズは250MBを超えています(そのうちの1つは実際には7GB!)、250MBのファイルをアプリケーションにロードしようとすると、約10秒間、私のRAM(6GB、最初は2GB使用)が約5GBに増加し、プログラムはメモリ不足の例外をスローします。
私は、メモリ不足の例外はすべてメモリの空の隣接チャンクに関するものだと理解しました。プログラムにそのようなファイルをロードする方法を知りたいのですが?
私はファイルを読み込むためにコードを使用していますが、私はdotNetRDFライブラリを使用しています。
TripleStore temp = new TripleStore();
//adding Uris to the store
temp.LoadFromFile(@"C:\MyTripleStore\pnd_en.nt");
250MBのファイルは3GBを占有しません。どのようにファイルをロードしていますか? – Blorgbeard
私は、ファイルからトリプルストアをロードするdotNetRDFというライブラリを使用しています。トリプルストアクラスには、loadFromFile()という関数があります。 http://bit.ly/yqPpJB – SKandeel
ロードに関係しない方法が見つからない場合最初のデータベース全体、あなたはより多くのスワップを追加しようとすることができます。 –