https://archive.org/web/のページを保存できません

私はページにアクセス可能であり、インデックス作成のために開いておく必要があります。私はウェブのアーカイブに保存の問題を持ついくつかのページがあります。彼らのほとんどはhttpsプロトコルを持っています。たとえば、ページhttps://www.asterra.ru/https://archive.org/web/のページを保存できません

「Bummer.This URLはライブWebで利用できないか、アーカイブできません」という応答が表示されるのはなぜですか？

出典

2017-04-18 karpo518

これはプログラミングとは関係がないので、この質問をトピックとしてクローズすることにしました。 – DavidW

「今保存ページ」でhttps://archive.org/web/に述べたようにブロック：クローラーを許可するサイトの

のみ使用可能です。

robots.txtあなたのサイトのスナップショットを作成できないように、robots.txtはwebarchiveクローラをブロックします。

出典

2017-04-18 07:44:47

どういう意味ですか？ページhttps://www.asterra.ru/ robots.txtで禁止されていません – karpo518

Webアーカイブにもhttps://www.asterra.ru/robots.txtというページを保存できません。 robots.txtを許可し、robots.txtで許可されていないファイルは含まれていません – karpo518

robots.txtを削除して、サイトに登録していないページを保存しようとします。 –

https://archive.org/web/のページを保存できません

答えて

関連する問題