検索エンジンとしてウェブサイトの詳細のみを取得する

Question

検索エンジンのようにウェブサイトの詳細を取得する必要があります。私は、サイトの説明、リンク、それらに関するいくつかの情報を必要とし、私のDBにそれを格納します。これを行うためのライブラリがありますか？ウェブページ全体をクロールすることができますが、検索エンジンでクロールされた形式の情報のみが必要です。

おかげで、言語
カルティク

Answer 1

？ Webページのコンテンツを読むためのAPIとバインディングが存在します。あなたは新しい '検索エンジン'を作成したい場合、タスクの規模を理解していますか？あなたの質問は非常に一般的なものであり、以外に与えられるアドバイスがたくさんありません。

あなたはすぐにあなたのIPがでブロックされますよ、リクエストでサーバーをハンマーしないでくださいrobots.txtの

を尊重感覚的なシステム管理者。