APIリクエストをクロールしてXMLをCSVに解析できるオープンソースのWebクローラを探します

Question

APIをクロールしてxmlまたはcsvファイルに解析するWebcrawlerを探しています。

私はいくつかのAPIフィードからのリクエストで遊んでいましたが、手動でやりとりしなければならないとうれしく思います。後で自動的に編集してデータを編集する必要があります。

たとえば、eventfulというサイトのAPIを使用して、「？xmlフィード？」をリクエストできます。データ

http://api.eventful.com/rest/events/search?app_key=LksBnC8MgTjD4Wc5&location=pittsburgh&date=Future

のリンクを調べる場合は、返送されたXMLデータのトンがある見ることができます。

私は、XMLデータがすでに要素によって分解されているので、分類を処理するようにクローラに要求するのは難しくないと考えました（たとえば、city要素はすべてのデータをcsvドキュメントのcityフィールドに送ります）誰もがAPIをクロールし、フォーマットなどのデータをExcelに解析されている関連する既存のオープンソースのWebクローラを使用している場合

私は思ったんだけど....

私はNutchのに見えたが、私は内の任意の参照を見つけるcouldntのXMLフィードをAPIフィードによって返された要素に基づいてExcel形式のドキュメントにソートするためのドキュメント。

これまで誰もこのようなことをしておらず、あなたはプログラムを参照できますか？具体的には本当に役に立ちます。

Answer 1

私はhttp://import.io/で私たちは、あなたが使用してAPIを構築、mozendaに似た無料のソリューションを持っている私が何かオープンソース

Answer 2

を見つけることができる場合、私は更新します

..... Mozendaと呼ばれる有料の解決策を見つけましたGoogleのウェブブラウザを使用して、APIをGoogleのサーバーにアップロードして無料で使用できます。また、クローラやその他のさまざまな機能も提供しています。それを確認して、あなたの考えを見てください:)

P.S私はimport.ioのために働いています。