Luceneを使用してWikipediaを索引する

Lucene Benchmarkを使用してウィキペディアのダンプを索引付けすることは可能ですか？私は、最新の英語のwikipediaページダンプでフレーズクエリを実行できるようにしたい。私はユースケースの例を探してみようとしていますが、何も見つかりませんでした。Luceneを使用してWikipediaを索引する

私は名前の、最新の英語ダンプをダウンロード： enwiki-最新-ページ-articles.xml.bz2

は、それから私は、ターミナルでコマンドを実行しました： Javaのorg.apache.lucene.benchmark.utilsを。 ExtractWikipedia -i〜/ enwiki-最新-ページ-articles.xml.bz2私は今、「enwiki」

をラベルされたディレクトリにページを抽出信じる

は、私が実行する必要がベンチマークで何か他のものがありますwikiのインデックスを作成するには？ README.enwikiは実際に私に明確な指示を与えません。実際、ExtractWikipediaクラスを実行するかどうかはわかりません。

出典

2011-10-23 Dan Q

この質問は、StackOverflow ServerFaultとSuperUserの間の奇妙な谷にあるようです。 – ObscureRobot

"ant"を実行してください。私はLuceneのメーリングリストにもっと徹底的な答えを投稿しましたが、それは基本的にその要点です。 build.xmlファイルには、ベンチマークを実行するためのターゲットが多数あります。

出典

2011-10-24 00:20:50

Luceneメーリングリストにあなたの答えへのリンクを追加するか、ここに回答を貼り付けることができますか？私はこの解決方法を試したいが、指示はない。 – anthonybell

2011年の古いスレッドへのリンクは次のとおりです。http://markmail.org/thread/qhkh7lyxff77kskr YMMV Luceneがその後多くの変更を行って以来、まだ解決策が有効かどうかはわかりません。 –

ウィキメディア財団は、DiffDbという新しいプロジェクトに取り組んでいます。 Hadoopを使用して、2つのリビジョン間の差分を作成し、それらの差分はすべてLuceneを使用して索引付けされます。など、https://github.com/whym/diffindexer

だけで英語版ウィキペディアの結果のインデックスが1.4Tbですが、あなたは本当にクールなクエリを行うことができます。

Wikihadoop：https://github.com/whym/wikihadoop
DiffDbあなたはgithubのにコードを見つけることができます2005年4月にfooを追加した人、バイトで10k以上を削除した人など

出典

2011-12-05 18:46:24 DrDee

Luceneを使用してWikipediaを索引する

答えて

関連する問題