2

すべての検索エンジンのボットが私のウェブサイトにアクセスするのを阻止しようとしています。ボットがGCloudでホストされているウェブサイトにアクセスするのを防ぐ

これらの権限はrobots.txtファイルに指定できますが、Google Cloudで編集するにはこのファイルにアクセスする場所がわかりません。

GcloudでPythonを使用してWebサーバーを開発しました。

私は次のトピックを読むことに注意してください。 http://stocksonfire.in/seo/edit-robots-txt-google-cloud-solved/ 私のリソースにはVMインスタンスが見つかりませんでした。 最初に作成する必要はありますか?

編集:これは私のrobots.txt(PythonのAppEngineのと)

runtime: python 
env: flex 
entrypoint: gunicorn -b :$PORT main:app 

runtime_config: 
    python_version: 3 

handlers: 
- url: /robots\.txt 
    static_files: robots.txt 
    upload: robots\.txt 
+0

サイドノート:ロボットが 'robots.txt'を使ってサイトにアクセスすることを本当に防ぐことはできません。誤っていると、そのファイルを無視することがあります。 http://www.robotstxt.org/faq/blockjustbad.htmlを参照してください。 –

答えて

1

@Dacサンダース提案をアプリングした後、私のapp.yamlファイルであることは、このようになります。

User-agent: * 
Disallow: /q? 

Sitemap: /sitemap.xml.gz 

<MYAPP>/static/robots.txtに入れました。私のrobots.txtのは、自分のドメインのルートにアクセス可能になる

handlers: 
- url: /(robots\.txt|favicon\.ico) 
    static_files: static/\1 
    upload: static/.* 

この方法:それから私はこのようにapp.yamlでそれをマッピングされました。

+0

私は ハンドラのrobots.txtに以下の行を追加してみました: - URL:robots.txtの アップロード: static_files /robots\.txtをロボットが robots.txtのアプリと同じフォルダに存在する.txtでは\。 yaml。 私はfavicon.icoを持っていないので自分のフォーマットに従うことができませんでしたか?また/static/ – Qalam

+0

MYWEBSITE/robots.txtを書くとまだファイルにアクセスできません – Qalam

+0

あなたは現在見ているようにapp.yamlを表示する質問ですか? robots.txtに関する特別な行を追加したのか、現在の質問に置き換えたのかは明らかではありません。あなたが投稿したものの下に行を追加したばかりの場合、既存のもの( 'url:/(robots \ .txt | favicon \ .ico)')が最初にマッチして、あなたの追加が評価されない可能性があります。 – jjjjoe

関連する問題