AWStatsで見つかったこれらのIPを安全にブラックリストに登録するにはどうすればよいですか？

Question

私のサイトには、ボットによる部分的なパフォーマンスの問題があります。私は自分のAWStatsをチェックして、何トンもの帯域幅を食べているIPアドレスを見つけました。これらをブラックリストに登録するのが安全かどうかはどうすればわかりますか？いくつかの人は毎月2 GB以上を一貫して食べています。

このスクリーンショットを参照してください： https://ibb.co/hJ6hmR

を私はこれらのIPアドレスにIP検索を試してみましたが、どのように私は、既知のクローラのように、それは私が続けるべきものだかわかりますか？

また、AWStatsのクローラもチェックしましたが、IPアドレスが表示されないため、その原因がわかりません。 1台の未知のロボットが11GBを稼いでいましたが、Googlebotは1GBしか使っていませんでした。 https://ibb.co/cWDCmR

不正なクローラをどのように取り除きますか？

Answer 1

あなたがApacheの

BrowserMatchNoCase thisisthebotname bad_bot 
Order Deny,Allow 
Deny from env=bad_bot 

を使用している場合は、あなたの.htaccessでロボットを禁止しようとすることができますしかし、あなたはボットのユーザーエージェントを必要とする