HTTPリクエストがBOTであるかどうかを知る方法

Question

BOTS（クローラ、クモ、twitterボットなど）のユーザエージェントの完全なリストを探しています。

何か知っていますか？

おかげ

Answer 1

ロングストーリーショート：あなたはできません、銀色の弾丸はありません。どんなボットでもuser-agent文字列を 'googlebot'から 'spamalot'に設定できます。

あなたはそれを自分で見ることができます。あなたがする必要があるのは、Shinnokが指し示す最初のサイトに移動し、そこにリストされているすべてのGooglebot/2.Xボットを数えることです。あなたはそれらをブロックし、ボットの名前をランダムなばかげたものに変更します。最終的には、ボットの有無を確認しようとするユーザーの読み込み時間を短縮する10kボットのリストが表示されます。

Answer 2

は、このリストをチェックしてください： http://www.botsvsbrowsers.com/category/1/index.html

それは4768のボットユーザエージェントの合計数が含まれています。

ボットの検出を達成するもう1つの方法は、ホワイトリストの方法で逆のアプローチを使用することです。つまり、ユーザーエージェントがボットではないかどうかを確認します。 :-)

非ボットユーザーエージェントの包括的なリストをコンパイルするには、リストをhttp://www.user-agents.org/とhttp://www.botsvsbrowsers.com/にすることができます。