Webサイトの.htaccess + robots.txtをテストするためにwgetまたはcurlを使用する

Question

Webサイトの.htaccess + robots.txtをデバッグしようとしていますが、robots.txtを使用してブロックしたファイルにアクセスするためにcURLまたはwgetを使用したい.htaccessファイルを経由して別の場所にリダイレクトする必要があるページが

私は

User-agent: * 
Disallow: /wp/wp-admin/ 

まだ私のrobots.txtに次きた、私はまだそれをクロールすることができ

wgetの

$ wget http://xxxx.com/wp/wp-admin/ 
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc 
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc 
--2017-08-28 07:37:05-- http://xxxx.com/wp/wp-admin/ 
Resolving xxxx.com... 118.127.47.249 
Connecting to xxxx.com|118.127.47.249|:80... connected. 
HTTP request sent, awaiting response... 302 Found 
Location: http://xxxx.com/wp/wp-login.php?redirect_to=http%3A%2F%2Fxxxx.com%2Fwp%2Fwp- 
admin%2F&reauth=1 [following] 
--2017-08-28 07:37:12-- http://xxxx.com/wp/wp-login.php?redirect_to=http%3A%2F%2Fxxxx.com%2Fwp%2Fwp-admin%2F&reauth=1 
Connecting to xxxx.com|118.127.47.249|:80... connected. 
HTTP request sent, awaiting response... 200 OK 
Length: 2891 (2.8K) [text/html] 
Saving to: `wp-login.php@redirect_to=http%3A%2F%2Fxxxx.com%2Fwp%2Fwp-admin%2F&reauth=1' 

100%[==============================================================================>] 2,891  --.-K/s in 0.1s 

2017-08-28 07:37:17 (22.2 KB/s) - `wp-login.php@redirect_to=http%3A%2F%2Fxxxx.com%2Fwp%2Fwp-admin%2F&re 
auth=1' saved [2891/2891] 

カール

$ curl -L xxx.com/wp/wp-admin -o wp-admin.html 
% Total % Received % Xferd Average Speed Time Time  Time Current 
           Dload Upload Total Spent Left Speed 
100 1147 100 1147 0  0 107  0 0:00:10 0:00:10 --:--:-- 280 
0  0 0  0 0  0  0  0 --:--:-- 0:01:37 --:--:--  0 
100 2891 100 2891 0  0  17  0 0:02:50 0:02:42 0:00:08 234 

どちらのwgetやカール尊敬のrobots.txt は、どのように私の.htaccess +のrobots.txtをチェックする方法はありますか？ありがとう！

Answer 1

robots.txtのは、あなたのrobots.txtで解析可能であることを確認したい場合は、ウェブマスターに、Googleのチェッカーを使用することができ、それは[wgetのカールを含む]、ほとんどのユーザーのブラウザによって無視され、検索エンジンのロボットのために純粋ですコンソールには、robots.txtファイルに存在する可能性のあるエラーや問題が表示されます。

.htaccessを使用してリダイレクトすると、どのブラウザでも動作するはずです。wgetはこれらのリダイレクトを表示する必要があります。