Wikipediaから統計を抽出するには？

私はウィキペディアのすべての死者のリストを抽出し、死亡時の年齢を比較したいと思います。ウィキペディアのすべての死者には、次のフィールドがあります。Wikipediaから統計を抽出するには？

| birth_name = Thomas Alva Edison 
| birth_date = {{birth date|mf=yes|1847|02|11}} 
| death_date ={{death date and age|mf=yes|1931|10|18|1847|02|11}}

クローラを作成する必要がありますか？ Wikipedia APIには私を助ける何かがありますか？クロールを開始できる場所はありますか？死んだ人のリスト？

ファイルサイズが数ギガバイトの.xmlファイルであり、そして上のすべてのページのテキストが含まれています。あなたがここにダウンロード可能なウィキペディアのすべての内容のダンプを見つけることができます

2011-07-24 Jader Dias

私のクローラの開始ページが見つかりました。それらはhttp://en.wikipedia.org/wiki/Category:1898_deaths –

ウィキペディア（他のものの中でも）。どのようにこれを処理するかは、使用するプログラミング言語によって異なります。

2011-07-24 00:38:27 EdoDodo

に似ています。それは1つの選択肢です。しかし、私はこのファイルをダウンロードして解析するよりも早くクローラを動作させることができると思う。 –

これで、クローラの開始ページがあると述べたので、おそらくもっと速い方法があります。 – EdoDodo

これはDBpediaのためのものです - データベース内のWikipediaのすべての構造化データ。 http://dbpedia.org/sparqlで次のクエリを実行してください：

select distinct ?p, ?d where { 
    ?p a <http://dbpedia.org/ontology/Person> . 
    ?p <http://dbpedia.org/ontology/deathDate> ?d . 
}

2012-07-09 15:46:21

答えて