loadrdf-toolはロードを中断または停止する1B +トリプル

Question

私は32GBのメモリを持つWindowsサーバー上にsetupdbを設定しました。私はloadrdf cmdを修正し、 "-Xms16G -Xmx24G"を追加しました。

いいえ私はWikidata rdf-dump全体をインポートしようとしていますが、問題があります。最初に、10.000.000のentity-index-size値を試しました。これは、10億回を超えるトリプルに達した後でloadrdf-toolが中止されても問題なく動作しました。エンティティインデックスサイズ値を2.000.000.000に設定しようとしましたが、これは悪化します。現在、500.000.000のトリプルを処理していますが、ロード速度は7.000 st/sに低下しています。

インポートを実行する可能性のあるその他の設定や構成はありますか？

Answer 1

公開Wikidata RDFダンプには約20億の文があり、おそらく約500Mの独自のRDFリソースがあります。デフォルトでは、エンティティプール構造（すべての一意のRDFリソースのインデックス）はオフヒープメモリ空間に格納されており、少なくとも8GBを予約する必要があります。 OSシステムに少なくとも3GBを追加すると、実際には使用メモリ量を "-Xmx20G"に減らす必要があります。

GraphDBのドキュメントでは、SSDを使用することを推奨しています。これにより、SSDのシーク時間が大幅に短縮されるため、データの読み込み速度が向上します。