ストリーミングXPath評価

Question

提供されたxml-documentに対するストリーミングXPath式の評価用の実稼働可能なライブラリはありますか？私の調査によると、既存のソリューションのほとんどは、xpath表現を評価する前にDOMツリー全体をメモリにロードしています。

Answer 1

これは、XPath構文をすることができますことを考えると、完全なXPathの実装のための実用的な次のようになります。

/AAA/XXX/following::* 

と

/AAA/BBB/following-sibling::* 

先読み要件を意味していますか？とにかく残りの文書をロードする必要がある特定のノードからのものです。

Nuxライブラリ（具体StreamingPathFilter）のためのDOCは、この点になり、およびXPathのサブセットに依存しているいくつかの実施例を参照します。 Nuxはいくつかのストリーミングクエリ機能を実行すると主張していますが、上記を考慮すると、XPath実装に関していくつかの制限があります。

Answer 2

Try Joost

Answer 3

いくつかのオプションがあります：

• DataDirect Technologies sells an XQuery implementation可能、投影とストリーミングを採用しています。ファイルをマルチギガバイトの範囲で扱うことができます。利用可能なメモリよりも大きい。これはスレッドセーフなライブラリなので、簡単に統合できます。 Javaのみ。

• Saxonは、オープンソースのバージョンであり、より高価なより高価ないとこがあり、一部の状況でストリーミングを行います。 Javaが、.netポートもあります。

• MarkLogicおよびeXistは、XMLがロードされている場合、XPathをかなりインテリジェントに処理するXMLデータベースです。

Answer 4

FWIW、私は非常に大規模な（> 3ギガバイト）のファイルに対するフィルタXPathクエリをストリーミング木の実を使用しました、そして、それは両方完璧に働いて、非常に少ないメモリを使用しています。私のユースケースは少し異なります（検証中心ではありません）。しかし、Nuxを使ってそれを試してみることを強くお勧めします。

Answer 5

XSLT 3.0はstreaming mode of processingを提供します。これはXSLT 3.0 W3C仕様がW3C勧告になる標準になります。

この回答書（2011年5月）を書いている時点で、サクソンはいくつかを提供していますsupport for XSLT 3.0 streaming

Answer 6

実際の経験はありませんが、QuiXProc（http://code.google.com/p/quixproc/）に言及する価値はあると思いました。これはXProcへのストリーミングアプローチであり、XPathのストリーミングサポートを提供するライブラリを使用しています。

Answer 7

私はカスタムコードを書くつもりです。 XML文書のいくつかのパスを読みたい場合は、.NETライブラリを使用するとターゲットにかなり近づきます。

これまでのすべてのソリューションはXPathサブセットのみを考慮しているため、これもこの種のソリューションです。しかし、サブセットは本当に小さいです。:)

このC＃コードは、xmlファイルを読み取り、明示的なパスを指定してノードをカウントします。 xr["attrName"]構文を使用して、属性を簡単に操作することもできます。

int c = 0; 
    var r = new System.IO.StreamReader(asArgs[1]); 
    var se = new System.Xml.XmlReaderSettings(); 
    var xr = System.Xml.XmlReader.Create(r, se); 
    var lstPath = new System.Collections.Generic.List<String>(); 
    var sbPath = new System.Text.StringBuilder(); 
    while (xr.Read()) { 
    //Console.WriteLine("type " + xr.NodeType); 
    if (xr.NodeType == System.Xml.XmlNodeType.Element) { 
     lstPath.Add(xr.Name); 
    } 

    // It takes some time. If 1 unit is time needed for parsing the file, 
    // then this takes about 1.0. 
    sbPath.Clear(); 
    foreach(object n in lstPath) { 
     sbPath.Append('/'); 
     sbPath.Append(n); 
    } 
    // This takes about 0.6 time units. 
    string sPath = sbPath.ToString(); 

    if (xr.NodeType == System.Xml.XmlNodeType.EndElement 
     || xr.IsEmptyElement) { 
     if (xr.Name == "someElement" && lstPath[0] == "main") 
     c++; 
     // And test simple XPath explicitly: 
     // if (sPath == "/main/someElement") 
    } 

    if (xr.NodeType == System.Xml.XmlNodeType.EndElement 
     || xr.IsEmptyElement) { 
     lstPath.RemoveAt(lstPath.Count - 1); 
    } 
    } 
    xr.Close();