2017-07-15 12 views
-1

どのように多くの求人サイトが他の企業のオファーに関する求人情報/情報を非常に多く持っているのだろうと思っていました。たとえば、自分の求人検索エンジンを起動する場合、indeed.comのようなサイトが自分のデータベースに持つ情報をどのように取得することができますか?あるサイト(jobmaps.us)は、「本当に動力を与えられている」と言うとindeed.comと同じフォーマットに従っているようだ(他の求人ウェブサイトと同じように)。私が使用できる普遍的な雇用のテンプレートがありますか?他の企業のデータベースからデータを取得することは可能ですか?

ありがとうございます。

答えて

0

一部のサービスでは、検索を「連合させて」複数のデータソースに中継し、すべての結果をまとめて1か所に表示できます。代わりに、データのダウンロード/取得を可能にするメカニズムを提供するものもあります。そのため、独自の検索インデックスにデータを読み込むことができます。

通常、後者の方法は高速で、完全な制御が可能ですが、リモートシステムでデータ項目が更新/追加/削除されたときに検索インデックスを維持して追跡する必要があります。それはいつも些細なことではありません。

どちらの場合でも、一部のAPIは公開/無料で、一部は登録および/またはライセンスが必要です。ほとんどの場合、レート制限があります。誰でもデータを所有している人は誰でもダウンします。

ウェブサイトを閲覧し、HTTPリクエストを送信し、ウェブサーバーからの応答を分析するユーザーをエミュレートすることができます。 HTMLの構造を知ることで、必要な情報を抽出( "スクレイプ")することができます。

このアプローチはサイトポリシーに反して行われることが多く、ブロックされる可能性があります。この方法を採用する場合は、ブラックリストに登録されないように、robots.txtポリシーを尊重してください。

関連する問題