ウェブデータを格納するためのMySQLデータベースを設定する最良の方法

Question

私は何千もの大人のウェブサイトを検索するためにカールを使用します。私の目標は、ユーザーが簡単に新しいデータベースを検索し、すべてのポップアップ、スパイウェアなどに耐えることなく、目的のページを見つけることができるようにMySQLに格納することです。

大人のウェブサイトの検索エンジンです...ちょっと大人のウェブサイトのグーグルだが、時折Googleに向かうマルウェアサイトはない。

最初の実行では、約20 GBのデータで約700 Kの回線をダウンロードしました。最初は、すべての情報をURL、HTMLページコード、HTMLタグなしのページ、キーワード、タイトルなどの列を含む単一の表に格納しました。

タイトル、キーワード、ページのHTML内の任意のさまざまな組み合わせや単独でユーザーの希望のページを検索するために、照合のクエリを使用します。

私の質問は...これらの列をすべて別々のテーブルに分割する方が良いでしょうか？

複数のテーブルにすべてのデータを格納してからJOINを使用してデータを取り出す利点はありますか？

私は積極的でハイユーザー検索の負荷を考える必要があるかどうかは不思議です。

Answer 1

MySQLはフルテキスト検索には適していません。

SphinxまたはLucene/Solrを参照すると、ジョブに最適です。私は前者に固執することをお勧めします。