2017-10-27 6 views
-3

私はジレンマがあります。私がアクセスしたときに、それは私のサイズ36898Google botとaccess.logファイルのサイズ

を与えるhttp://www.example.com/product1

カール-SD -L -A "のMozilla/5.0(+ http://www.google.com/bot.html互換性; Googlebotが/ 2.1)":

私はでURLにアクセスしている間よるURL: カールhttp://www.example.com/product1 それは私のサイズ36898

を与えるが、Googlebotは同じURLサイズ8275

にアクセスしたときのaccess.logを示し

それはどうやって考えているのでしょうか?

+1

Google Bot関連の問題だと思われるので、この質問をトピックとしてクローズすることにしました。おそらく、ボットは最初の8Kバイトの読み込み後に接続を切断するように設定されています。明らかに、あなたのファイルは必要ありません。 – madhead

+1

@madhead私はそれを2番目にします! –

答えて

0

私は、対象への入力を作成しない単なる答えではなく、もう少し興味を持っていただければ幸いです。 私はそれに自分自身で答えることができました。 ファイルの長さの違いは、Googlebotがファイルのgzippedバージョン(8275)を取得したが、カールが解凍バージョン(36898)にアクセスしたためです。

関連する問題