google-crawlers

0熱

1答えて

私はこのウェブサイトをホストしています。そして、私はそのドメインを注文します。 SOサイトは、私はDNSレコードにもかかわらず、彼らはそれを検証していないウィルプロパティを追加したい場合、私はグーグルのwebmastertoolsでは今、ドメインwww.company.com を追加 somedomain.be/boringにhostenされます、TXT、TAG、およびファイル。どうすればいいで

-1熱

1答えて

あなたのサイトのrobots.txtファイルにアクセスできませんでした

私はgoogle webmasterを使用して自分のサイトを確認しました。私はWordpressで私のウェブサイトを作ったし、robots.txtも加えた。私はロボットを実行するときにも robots file ：今.. GoogleがDNSとサーバーの接続に緑色のチェックマークを示しているが、とrobots.txtの上の黄色い警告マークがフェッチ私のrobots.txtファイルは、次のようにな

0熱

3答えて

検索エンジンが読み込みアクセスが制限されている場合、robots.txtを読むことができますか？

robots.txtファイルを追加し、いくつかの行を追加していくつかのフォルダを制限しました。また、.htaccess file.Canを使用してrobots.txtファイルにアクセスするための制限をすべて追加しました。

1熱

2答えて

不完全なrobots.txt、どうなりますか？

私はウェブサイト上にページを持っており、自分のページ以外のものにアクセスすることはできません。このウェブサイトは、様々な小型製品を販売するために使用されます。 1年以上一緒にいて、Googleアドワーズ広告を使って自分自身を促進すると、Googleの製品ページのどれもGoogleでインデックスに登録されていないことに気付きました。サイトのrobots.txtにはあまり含まれていないことが気づいたと

0熱

1答えて

htaccess - サブドメインページからwwwと.htmlを削除する

私のドメインはwww.site.name.jpです。 www.site.name/aboutのようにサブページからwwwと.htmlを削除したいとします。 html どうすればよいですか？私はこのコードを使用していましたが、実際は動作しています！しかし、私はちょっと私のGoogleクロールの分析に副作用があるのかと心配しています。あなたがたURLからwwwと.htmlを削除するには、あなたの最

-3熱

1答えて

ApacheのAngular 2 |検索エンジンのクローラ

私は簡単なAngular 2アプリを書いて、ホスティングプロバイダのApacheサーバに公開しました。私のサイトが検索エンジンによってクロールされる可能性はありますか？私はサイトがレンダリングされる必要があることをGoogle検索しましたが、私はそれについて何か他のものを見つけることができませんでした。

-3熱

2答えて

アンチクローラ - Python

私は美しいスープモジュールでPythonクローラを書くことを知っています。今私は誰かが私のウェブサイトをクロールするかどうかを検出したい。どうやってするか。誰かが私にpesudoコードまたはsourcecodeを指摘できますか？基本的には、私はPythonでアンチクローラを書くために探しています。

0熱

1答えて

Vaadin 7アプリケーションSEO準備完了

Google Ajaxクローリング手順では、!#は実際にはgoogleクローラによって?_escaped_fragment_に変換されます。私はVaadin 7アプリケーションをGoogle検索エンジン向けの準備が整った状態にしたいと考えていますので、?_escaped_fragment_で次のリクエストを処理することでそのプロセスを簡素化する機能はありますか？すぐに使用できるソリューションが

0熱

1答えて

最初の画像を取得するGoogleからの結果

私は大きなデータベースのためにいくつかの画像を取得したいと思います。 1つ1つずつ検索、ダウンロード、名前を変更する代わりに、返されるスクリプトについては、すべてのキーについて、最初のgoogle imagesの結果が私のサーバーにダウンロードされたと考えました。これは可能ですか？ Webクローラーに関する何か？私はGoogle APIのドキュメントや他のStackOverflowの投稿を検索し

1熱

1答えて

ajaxの動力を与えられたページが完全にロードされ、スナップショットを撮る準備ができたことをクローラーに通知する方法

ナビゲーションモジュールが使用されていない（ハッシュベース（＃！）ナビゲーションなし）角度/ googleのajax-crawling webmasters-ajax-crawlingの非推奨版ですが、AJAX（REST）呼び出しに依存しないJS生成コンテンツはクローラのみが見るように見え、AJAX呼び出し応答に依存するページコンテンツは表示されません。 Googleがページをレンダリングするため