どのように特定のウェブサイトから社会情報を抽出するのですか？

Question

私はwww.example.comのようなウェブサイトのURLを持っています

このウェブサイトから：facebook url（facebook.com/example）、twitter url（twitter.com/example）ウェブサイトの任意のページでどこでも利用可能ならば、このタスクを完了するためにどのように

、任意のチュートリアル、ブログ、技術を提案する。..

Answer 1

（ウェブサイトのどのページに）それらのリンクが置かれている場所を正確にあなたが知らないので、あなたはおそらくあなたをベースにしますスパイダーのCrawlSpiderクラス。このようなスパイダーでは、リンク抽出とナビゲーションのルールをWebサイトで定義できます。この最小限の例を参照してください：

from scrapy.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 

class MySpider(CrawlSpider): 
    name = 'example.com' 
    start_urls = ['http://www.example.com'] 

    rules = (
     Rule(LinkExtractor(allow_domains=('example.com',)), callback='parse_page', follow=True), 
    ) 

    def parse_page(self, response): 
     item = dict() 
     item['page'] = response.url 
     item['facebook_urls'] = response.xpath('//a[contains(@href, "facebook.com")]/@href').extract() 
     item['twitter_urls'] = response.xpath('//a[contains(@href, "twitter.com")]/@href').extract() 
     yield item 

このクモはexample.comウェブサイトのすべてのページをクロールし、facebook.comとtwitter.comを含むURLを抽出します。

Answer 2

おそらく 1. htmlページレイアウトのヘッダー/フッターでリンクを検索します。それがそれらのための最も一般的な場所であるように。 2.同じサイトの他のページにある見つかったリンクと相互参照することができます。 3.サイト/組織の名前がリンクに含まれているかどうかを確認できます。しかし、この名前は信頼できる名前ではなく、絶対に奇妙なハンドルを使用するかもしれません。

これは私が考えることができるすべてです。