htaccessを正しく使用してリダイレクトする

Question

私のプロジェクトでrobots.txtとsitemap.xmlと.htaccessを使用しています。私はGoogle Webマスターツールで提出するとsitemap.xmlのURLにアクセスできます。

のrobots.txt

User-Agent: * 
Disallow: 

sitemap.xmlと

<url> 
    <loc>http://www.example.de/</loc> 
    <changefreq>daily</changefreq> 
</url> 
<url> 
    <loc>http://www.example.de/blog/article/</loc> 
    <changefreq>daily</changefreq> 
</url> 
<url> 
    <loc>http://www.exampe.de/blog/article/example-article</loc> 
    <changefreq>daily</changefreq> 
</url> 

の.htaccess

RewriteRule ^(.*)blog/article/$ $1article.php 
RewriteRule ^(.*)blog/article/example-article$ $1blog/example-article.php 

マイフォルダ構造：

├───blog 
│ └─── example-article.php 
├─── sitemap.xml 
├─── robots.txt 
├─── .htaccess 
├─── article.php 
├─── ... 

Googleウェブマスターツールは言う：

http://www.example.de/blog/article/ 
http://www.example.de/blog/article/example-article 

は、私はすべてをクロールすることができ事実により可能ではないのrobots.txtによってブロックされます。

私の間違いはどこですか？

Answer 1

用途：のrobots.txt

User-Agent: * 
Disallow: /only_folder_name_you_disallow/ 

あなたはグロブと正規表現はいずれかのユーザーエージェントでサポートされているか、ラインを禁止されていないこともAllow

注意を使用することはできません。 User-agentフィールドの '*'は、「任意のロボット」を意味する特別な値です。具体的には、「User-agent：bot」、「Disallow：/ tmp/*」、「Disallow：* .gif」のような行は使用できません。 http://www.robotstxt.org/robotstxt.html