0
phpフォームのコンテンツを含むWebサイトからコンテンツをクロールできないという問題が発生しました。私は、これが他のすべてのページが問題なしでクロールされているので、これが問題であると仮定しています。私は、Nutch 1.11とApache Solr 5.4.1を使用して、クロールされたドキュメントのインデックスを作成しています。インデックスを取得する唯一のテキストは、メニューリンクなどからのボイラープレートのテキストです。本文全体が解析されることはありません。
私は現在、URLでPHPクエリを実行できるようにするものを除いて、デフォルトの設定でこれを試していますので、 '？='などの文字はすべてデフォルト設定以外で受け付けられます。 誰かがこれが本当にありがとうと思うのであれば、私はそれをオンラインのどこでも問題として見つけられないようです。
以下は、本文を抽出して解析することができないサイトの例です。 https://www101.dcu.ie/prospective/deginfo.php?classname=BMED&originating_school=21
私はログを通過し、URLが解析されたと言います。それはメニューテキストを抽出するために管理しますが、主な内容はまったくありません。そして、ドメイン上の他のすべてのページが問題なく抽出できると私は言った。Nutchがページコンテンツをクロールしない