私のウェブサイトがどのようにプログラムに現れるかをテストしてください

Question

ウェブサイトは、ブラウザ上のユーザだけでなく、プログラム、ボット、クローラにアクセスすることができます。私はPythonでGoogle App Engine上で実行されているWebサイトを持っています。非静的なHTMLページは、Pythonプログラムによって結合、結合、ループすることによって生成されます。ただし、これらのページを生成するためにユーザー入力が必要ないという意味では、動的ページでもありません。 Pythonによるコンテンツの生成は、利便性、簡潔さ、保守の容易さのためだけであり、URLによって完全に設定されています。

検索エンジンの中には、動的ページのインデックスを作成できないものがあります。私は、これらのページが「動的」であるかどうか、つまりそのようなボットで通常のメタデータとコンテンツのクロールやインデックス作成ができるかどうかを知りたいのですが、一般的にの URLがボットに表示されます検索エンジンで使用されているようなクローラを使用しているため、特定のURLがクロールできないことがわかります。

利用可能なリソースやテクニックを知っている人は、本当に役に立ちます。

Answer 1

Lynxは、検索ボタンにページがどのように表示されるかを示すテキストベースのブラウザです。古代、試して真実。

Answer 2

一部の検索エンジンでは動的ページをインデックスできません。

クライアントがスクリプトを実行したり、静的ファイルを読み取ったりしてコンテンツを取得した場合、クライアントはそのことを知ることができません。

ほとんどの検索エンジンではクライアント側のJavaScriptは実行されません。ほとんどの検索エンジンはフォームを送信しません。

あなたのコンテンツが（HTML内にある）リンクをたどってアクセスできる場合、検索エンジンはページを取得できます。