奇妙なGETリクエストが

Question

私はApacheのログで私のウェブサイトを監視していると私はいくつかのstrangesリクエストを見て、参照してください。

51.255.65.74 - - [28/May/2016:11:48:02 -0300] "GET /insert/xahanave.html HTTP/1.1" 404 1035 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)" 
207.46.13.128 - - [28/May/2016:11:49:13 -0300] "GET/HTTP/1.1" 200 14188 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 
66.249.64.87 - - [28/May/2016:11:49:32 -0300] "GET /css/kin8tengoku-1144-may.html HTTP/1.1" 404 1039 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 

まあ、私のFTPフォルダ「/挿入/ xanahave」を持っていません、どちらのファイルも 'c8tengoku'というフォルダにはありません。存在しないファイル/フォルダへの要求を可能にしていますか？

重要：数日前、私のサイトはハッキングされ、FTPで許可なく「挿入」フォルダが作成されましたが、今はすべてがクリーンで、フォルダ「挿入」はもう存在しません。私の大きな質問は、なぜこのフォルダへのリクエストが続くのかということです。

Answer 1

ファイルがAhrefs、Bing検索エンジンとGoogle検索エンジンによって取得されたため、ファイルが定期的に再確認されて変更があるかどうかが確認されたためです。これは、Googleなどがサイトの最新情報を返す方法です。

あなたは、（各行の最後に）送信されたユーザーエージェントからのこれらの企業を見ることができます。今やGoogleBotのふりをしているが、時にはこれらのIPアドレスのGoogleが、正当なものであることを示している。

あなたのサーバーは404（ページが見つかりませんでした）という応答で正しく表示されており、リンクがない場合、最終的にヒントを得てインデックスから削除し、要求を停止します。 1〜2ヵ月かかることがあります。誤ってページを削除したなどの理由で、404エラーが発生した場合は、すぐにこの操作を行いません。