Wikipediaリンクのツリーを作成する

Question

私はWikipedia APIを使用してすべてのページのすべてのリンクを取得しようとしています。現在、私は

https://en.wikipedia.org/w/api.php?format=json&action=query&generator=alllinks&prop=links&pllimit=max&plnamespace=0

を使用していますが、これは最初の記事で開始し、最後で終了していないようです。すべてのページとすべてのリンクを生成するにはどうすればよいですか？

Answer 1

英語のウィキペディアには、約10億の内部リンクがあります。 list=alllinksモジュールではリクエストごとに500リンクの制限があることを考慮すると、APIからすべてのリンクを取得するのは現実的ではありません。

代わりにWikipedia's database dumpsをダウンロードして使用することができます。具体的には、リンク自体に関する情報を含むpagelinksダンプと、ページIDにページタイトルをマッピングするためのダンプ（page）があります。