すべてのウェブサイトの活動を追跡し、ウェブロボットのデータをフィルタリングする方法

Question

私は、URL、紹介コード、セッション、時間などを記録することによって、ページビューの非常に初歩的な追跡を行っていますが、ロボット（Google、Yahooなど）に爆撃されています。私は、これらの統計情報をフィルタにかけるか、ログに記録するのが効果的な方法ではないかと思います。

私はロボットIPリストなどを実験しましたが、これは絶対確実ではありません。

robots.txt、htaccess、PHPサーバー側のコード、JavaScriptや他の方法でロボットを「騙したり、人間以外のやりとりを無視することはできますか？

Answer 1

ちょうど追加する - インターフェース内で使用できる手法は、Javascriptを使用して特定のユーザインタラクションビュー/カウンタの増分につながるアクションをカプセル化することです。非常に初歩的な例では、ロボットは従い

<a href="javascript:viewItem(4)">Chicken Farms</a> 

function viewItem(id) 
{ 
    window.location.href = 'www.example.com/items?id=' + id + '&from=userclick'; 
} 

追跡するこれらのクリックを簡単にするために、彼らはあなたが確実に何かが「クリック」された回数を追跡し、それは明らかに持っている役立つだろうな

www.example.com/items?id=4&from=userclick 

として要求をもたらすかもしれません欠点はもちろん、実際にはwに依存しますあなたが達成しようとしている帽子。

Answer 2

さて、ロボットはすべて特定のユーザーエージェントを使用するため、これらの要求を無視できます。

robots.txtを使用して訪問を拒否しただけでも、まあそれも動作します。

Answer 3

何を達成するかによって異なります。 検索のボットに特定のパスやページのアクセスを停止させたい場合は、それらをrobots.txtに含めることができます。よく動作するボットの大半は、それらを打つのをやめます。

ボットにこれらのパスのインデックスを付けるが、レポートでそれらを表示したくない場合は、いくつかのフィルタリングロジックを実装する必要があります。例えば。すべての主要なボットは、非常に明確なユーザエージェント文字列（たとえば、Googlebot/2.1）を持っています。これらの文字列を使用して、これらのヒットをレポートから除外することができます。

Answer 4

weelを再調査しないでください！

現時点で統計ツールは、ロボットのリクエストにフィルタをかけます。共有ホスティングがあっても、AWSTATS（オープンソース）をインストールできます。サーバーにソフトウェアをインストールしない場合は、ページの末尾にスクリプトを追加するだけでGoogleアナリティクスを使用できます。両方のソリューションは非常に良いです。このようにすれば、エラーを記録するだけで済みます（500,404、および403で十分です）。