プロダクションレベルで検索サーバーを開きますか？

プロダクションレベルでWeb検索エンジンを作成するためにOpen Search Server http://www.open-search-server.com/を使用します。検索エンジンを作成するための他のGoodフリーソフトウェアはありますか？私は数百万のWebサイトをクロールしたい。プロダクションレベルで検索サーバーを開きますか？

2012-04-06 Gopa Soft

（開示を構築するために、2つのソフトウェアを使用することができます：この投稿の著者は、ここに記載されたウェブサイト/製品に関連しています）

OpenSearchServerはLuceneに基づいています。さらに、数百万ページの索引付けが可能な強力なWebクローラーも含まれています。私はこのソフトウェアの創始者です。何千ものWebサイトのインデックスを作成するプロジェクトで使用します。

しかし、何百万ものウェブサイトのインデックス作成は別の話です。分散インデックスを構築するには、複数のサーバーにクロールを配布する必要があります。

次に、別のサーバープールを使用して、ユーザーからの検索要求を処理します。これを行うには、OpenSearchServerのいくつかのインスタンスを使用することができます。

あなたが選んだソフトウェアが何であれ、ハードウェア、特にストレージ部分を慎重に選択する必要があります。大きなインデックスでは、検索クエリのパフォーマンスはストレージのパフォーマンスに関連しています。大きなRAIDプールまたはSSDディスクは大歓迎です。

2012-04-06 14:49:59

ありがとうございました... –

大きなインデックスでクエリの速度が遅くなるかどうか –

サイズによって異なります。 RAIDまたはSSDを搭載し、16GBのRAMを備えた1台のサーバーは、高速クエリ実行時間（<500ms）で数千万のドキュメントを処理できます。索引付けされたページの総数についてご存じですか？ –

最も人気のある検索エンジンのオープンソースソフトウェアは、nutchとlucenceです。 Nutchのは、ここでは、Webページのクローラであるmain page

Lucenceがインデックスサーバーであり、ここでmain page

あなたはさがす-エンジンに

2012-04-06 13:31:17 yaronli

opensearchserverのような組み込みの管理インターフェースを持っていますか？ –

@GopaSoftはい、管理コンソールはウェブをベースにしています。 – yaronli

答えて