2016-04-05 3 views
2

私は何百ものWebページから多くのデータを取り出すためにimport.ioを使用してきました。私はすでにそれらのURL用のエクストラクタを作成していますが、まだ追加しています。RESTfulな要求のためのエンドポイントと一緒にすべてのエクストラクタをダウンロードするには?

私は、すべての抽出プログラムのHTTPリクエストをimport.io RESTful APIに再帰的に送信する自動プロセスを設計しました。

新しい抽出器を作成するたびに、新しく作成した抽出器のエンドポイントをデータベースに挿入するための手作業をいくつか実行します。このアプローチは非常に時間がかかり、コピー/ペーストエラーの可能性があるためエラーが発生する可能性があります。

import.ioは自分のデータのリストを保持していますが、データを自分のデータベースに保存できるように、RESTful要求のエンドポイントとともにすべての抽出プログラムをダウンロードしたいと思います。

エクセル形式などですべてのデータをダウンロードまたは抽出する方法はありますか?

答えて

2

現時点では、私が恐れているすべての抽出プログラムのAPIエンドポイントを一括してダウンロードする方法はありません。

この方法を使用して、コネクタのGUIDを取得することは可能です。

http://api.docs.import.io/legacy/#ConnectorMethods「検索コネクタ」

あなたは、GUIDを取得するには、これを解析するために、たとえばPythonで小さなスクリプトを書くことができます。

これを自動プロセスに追加することもできます。

+0

ありがとうアレックス! あなたの提案に従って、私の抽出者のリストを取得することができました。しかし、import.ioに、APIエンドポイントをバルクダウンロードする機能をアプリに含めるよう提案したいと思います。 –

+0

その良いアイデア!私はこれをimport.ioプロダクトチームに渡します:) –

関連する問題