robots.txtを.htaccessに置き換える方法

Question

私はrobots.txtファイルを削除しなければならない状況があります。なぜなら、ロボットのクローラがリンクを取得したくないからです。

また、私はそれらをユーザーがアクセスできるようにしたいが、私はそれらを検索エンジンにキャッシュさせたくない。

また、私はさまざまな理由でユーザー認証を追加できません。

mod-rewriteを使用して検索エンジンのクローラをクロールすることを無効にし、他のすべてのユーザーがそれを実行できるようにすることを考えています。

私はincommingユーザエージェントは、検索エンジンであるとはい、その後401

にそれらを再指示した場合にのみ、問題は私にはわからないかどうかをチェックするための条件を記述されて実装しようとしていますロジックそれを実装する方法。 :(

誰かが

よろしく、

Answer 1

私は間違ってあなたを理解することができる。事前に

おかげ。それで私を助け、私はロボットで

User-agent: * 
Disallow:/

を考えることができます.txtはあなたの望むものだけを実行します。通常のユーザーにはウェブサイトを開いたままクローラを許可しません。

または、Webサーバーからrobots.txtを（何らかの理由で）削除する必要がありますか？