クローラ/ SEOフレンドリー/モデムリライト/それは意味がありません

Question

私はクライアントクライアントがすべての小さな事についてニッキーピックで、彼は喜んで返す私の男の地獄を与えている、コマンドの連鎖を押さえるという古い規則に従うことで賛成してください。

今質問します。このアプリケーションは基本的に3つの異なるミニプロジェクトで構成されています。管理者用のバックエンドインターフェース、クライアント用のバックエンドインターフェース、全員用のフロントエンド。

私は具体的にSEOにやさしいようにMOD_REWRITEルールを適用するように求められました。これが究極の目的だったので、これは基本的に、リンクを審美的に見栄えを良くするよりも、検索の利便性を向上させるためのエクササイズでした。

私はフロントエンドで作業しました。これは、基本的にはすべての人のためのランディングページです。美しく見えますが、リンクは最悪の場合、バックスラッシュが1つ続きます。

クライアントが発行します。彼は管理者とユーザーのためのバックエンドインターフェイスがなぜそれらの巨大な醜いリンクを表示しているのかを知りたがっています。これらは非常に醜いリンクで、3から4つのバックスラッシュとそれに続くさまざまなgetシーケンスがありますので、おそらくこのようなMOD_REWRITINGの複雑さを理解できます。

私は、バックエンドインターフェイスがどんなクローラによっても盗聴されないようにする方法を残したと言いました。 しかし、それが本当に正しいのかどうかはわかりません。クローラはどこで止まるの？彼らはいつリンクを解析しようとするのをやめますか？ .robotファイルを使用してルールを指定できることはわかっています。しかし、先住民の生き物として、彼らの本能は何ですか？

私はこれが何よりも暴言であることを知っています。私は最初の質問が拒否される危険性が非常に高いです。しかし、ちょっと、これは私の胸からこれを持っていると良い感じです。

乾杯！

Answer 1

クローラはどこで停止しますか？彼らはいつリンクを解析しようとするのをやめますか？

Robots.txtはすべてのボットで機能しません。

フロントエンドにファイルが不要な場合は、基本認証またはIPによる限定アクセスを使用して、バックエンドを非表示にすることができます。

実用的でない場合は、バックエンドファイル用に404または401ヘッダーを送信してください。しかし、これは単なるアイデアであり、保証はありません。

しかし、先住民の生き物として、彼らの本能は何ですか？

ハイパーリンク、ツールバーや、マルウェアspam-と詐欺-警告用のブラウザ両面、予め活性化機能...