大きなxmlファイルの処理

多くのサブ要素を含む大きなxmlファイルがあります。私はいくつかのxpathクエリを実行できるようにしたい。私はJavaでvtd-xmlを使ってみましたが、xmlがメモリに収まるほど大きいので、時々outofmemoryエラーが出ます。そのような大きなxmlを処理する別の方法がありますか？あなたが今やろうとしているどのような大きなファイル大きなxmlファイルの処理

出典

2011-01-22 Boolean

なぜこの質問にPythonタグがありますか？人々がPythonソリューションを提供することを望んでいますか？ – Spaceghost

ドキュメントを解析するときやxpathクエリを実行するときにメモリ不足が発生しますか？ 2番目の場合、おそらく問題はxpathクエリです。いずれにせよ、JVMのヒープのために-Xmxの値を増やしてみましたか？ – Spaceghost

拡張vtd-xmlを試して、メモリマッピングオプションを使用してください –

は、XML文書のメモリー内表現を作成せずにサックスを使用してXPathを実行http://code.google.com/p/jlibs/wiki/XMLDog

を試してみてください。

出典

2011-01-22 01:32:46

は非常に効率的ですか？そのサウンドによって、DOMベースのパーサを使用しようとしています。パーサは、XMLファイル全体をDOM表現としてメモリにロードします。大きなファイルを扱う場合は、XML文書をストリーミング形式で処理するSAXパーサを使用する方がよいでしょう。

これは個人的にはStAXをお勧めします。

出典

2011-01-22 00:55:52

XPathをダイレクトSAXストリームで使用することはできません（クエリごとにファイル全体を再解析することはできません）。 –

@Glenn Maynard - 確かにOP *は各クエリ（またはクエリのバッチ）ごとにファイルを再解析する必要があります。 DOMは大きすぎてメモリに収まりません。 –

で作業するとき

出典

2011-01-22 01:29:49 whaley

標準vtdまたは拡張VTD-xmlを使用しましたか？拡張XMLを使用する場合は、メモリマッピングを使用するオプションがあります。これを試しましたか？

出典

2011-01-22 20:03:32

XPathを使用すると、長期間使用するアプリケーションで多くの式を動的にコンパイルすることはできません。

XPathのJavaバージョンがどのように機能するのかは完全にはわかりませんが、.NET XPathでは動的アセンブリをコンパイルしてアプリドメインに追加します。後で式を使用すると、アセンブリにメモリにロードされます。
XPathを使用していた状況では、この同じタイプのメカニズムがメモリリークと同様にメモリをいっぱいにしていました。

私の理論では、各式がユーザーの値を使用してコンパイルされるたびに、コンパイルされた各式は固有の可能性が高いため、新しい式がコンパイルされてアプリドメインに追加されました。
アプリケーションドメイン全体を再起動せずにアプリケーションドメインからアセンブリを削除することができるため、式が評価されるたびにメモリが消費され、回復できませんでした。その結果、コードはメモリ内のアセンブリの形でメモリをリークしていましたが、しばらくして結果が分かりました。

出典

2012-01-16 19:12:35

大きなxmlファイルの処理

答えて

関連する問題