robots.txt

    4

    1答えて

    私は[email protected]でWebサイトを作成しています。 Webpackをデフォルト設定(依存関係として)で使用しています。 は、ここで私は資産/ディレクトリにのrobots.txtファイルを追加している私のpackage.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.1.2"

    -1

    1答えて

    JavaScriptベースのウェブサイトがあります。具体的には、<a>タグはありません。コンテンツはDOMツリーに動的に挿入され、いくつかのボタンがクリックされた後、javascriptを使用して更新を表すURLが変更されます。 だから、私の質問は、私は私のrobots.txtでのリンクのリストを持っている場合は、許可ウェブクローラ(グーグル、ビング、など)を直接robots.txt内のリンクにア

    0

    2答えて

    にいくつかのURLを無効にします。 https://www.example.com/16546/slug-title これらのURLを無効にするには、robots.txtの中に追加するためのルールは何ですか? 私はパブリックURLを維持したいhttps://www.example.com/terms。

    0

    1答えて

    私のウェブサイトが非常に遅くロードされる原因を特定するのが難しいですが、私は何かを見つけましたが、グーグルアーカイブは正しい答えや説明を提供しません。私は別のロボットについて複数のレコードが私のウェブサイトにアクセスした私の生のアクセスログで は、ここでの例です: 202.46.53.40 - - [31/Dec/2016:03:30:51 +0100] "GET /en/home/184-201

    0

    1答えて

    Googleがrobots.txtファイルをDisallow: /と読み込む理由を理解できません。 これは私がメインのルートディレクトリにある私のrobots.txtファイルに持っているものです:ブラウザでI桁はそれがDisallow: /を表示するかどう User-agent: * Allow:/ しかし:http://revita.hr/robots.txt 私はすべてを試み、サイトマッ

    1

    1答えて

    robots.txtは、パターンの最後を特定するための特殊文字として$を処理します。 ものの、Googlebotはスクリプトタグ例えば内JSテンプレートからいくつかのhrefを解析している。 <a href="${object.path}"> ${object.name}</a> それをコードした後、Googleのボットは、404エラーで終了mySite.com/$%7Bobject.path

    0

    2答えて

    anglejsアプリでは/welcomeの一部として表示される/fragments/welcome-1.htmlのような断片を使用しています。私はrobots.txtに Disallow: /fragments を経由してGoogle検索から除外でき、と思ったが、それは完全にGooglebotことにより、任意のアクセスを防止するため、ページ/welcomeを正しく表示することができません。 明

    0

    1答えて

    問題は、少し短くブランド化された短いドメインをURL短縮語として使用していることです。私たちのブランドの短いドメインはd.so.cityです 私はサイトを検索するたびに:Googleのso.city、すべてのd.so.cityのリンクは、本物のサイトのURLの前に表示されます。私はビットのURLがクロールされることを望んでいない。私はこれが簡単にサブドメインのrobots.txtで行うことができま

    0

    1答えて

    robots.txtファイルを作成しています。しかし、私はGooglebot-Imageを拒否する方法について少し不安です。 Googleのロボットが私のサイトをクロールできるようにしたい。これは私が作ったものである。 User-agent: Googlebot Disallow: Disallow: /courses/ Disallow: /portfolio/portfolio-tem