ページをクロールすると、完全なURLを<a href> or <frame src> attributes

Question

I am actually using PHP but such crawling can be done by any programming languages. It will be a bit difficult to cater a lot of situations. Please help me look through the problem, and please give me some suggestion on whether I am going to the right direction.

What I know is the current url address from which I can get a list of links from <a href=" or from <frame src=".

What I am doing is: from current url address, I can firstly get root url, for example, from http://www.abc.com/defから取得する方法は、最初にhttp://www.abc.comを得ることができます。これは状況<a href="/fff.html"に対応するために、最初にルートURLを知る必要があります。

第2に、現在のURLからurlディレクトリを取得する必要がありますが、これは少し難しく、完全に行う方法はまだ分かりません。たとえば、http://www.abc.com/def/xyz.htmから、URLディレクトリはhttp://www.abc.com/defです。これは状況<a href="../../xyz.html">に対応するためです。

私が直面している問題は、現在のURLディレクトリを取得する方法です。たとえば、現在のURLがhttp://www.abc.com/defの場合、defがディレクトリまたはファイルであることを実際にどのように知ることができますか？ defがファイルの場合、urlディレクトリはhttp://www.abc.comになります。しかし、defがディレクトリの場合、urlディレクトリはhttp://www.abc.com/defになります。

最後に「/」があると言うと、それはディレクトリです。しかし、私の見地からは、Webページをクロールしているときに、WebページのビルダーがディレクトリURLの最後に "/"を追加することは本当に保証できません。たとえば、defがディレクトリの場合、http://www.abc.com/defはおそらくhttp://www.abc.com/def/index.htmlの略です。

http://www.abc.com/defがディレクトリかスクリプトファイルかを知るのは難しいので、<a href="xyz.html">のような相対的なhrefから完全なURLを作るのは難しいです。

私は問題を複雑にしていますか？これには何か解決策はありますか？

例：href = "＃はアンカーを意味し、現在のURLの末尾に追加するだけですが、現在のURLの状況に合っていますか？ ？現在のURLは（DEFディレクトリです）http://www.abc.com/defここで、http://www.abc.com/def#xyzhttp://www.abc.com/def/index.html#xyz

に変換され、HREF = "javascriptを：またはのhref =" のVBScript：。など、私はちょうどそれを無視します

そして、 href = "xyz。???"で、???が画像ファイル、exeファイル、またはhtmlでないものは無視します。

ありがとうございます。

質問が少し乱雑になるかもしれませんが、私はそれをはっきりと説明したいと思います。

Answer 1

ドメイン名の後ろにあるものは、ドメインを構成する人が望むものにマッピングできます。

.htmlで終わるURLが、ファイルシステム上の実際のファイルをどこかで参照しているか、有効なHTMLなどを返すという保証はありません。

def/をディレクトリまたはファイル名の一部としてカウントすることを任意に決めることができます。任意の選択肢が正しいので、ボートを浮かべてください。

Answer 2

http://www.abc.com/defがディレクトリの場合、クライアントの混乱を避けるため、Webサーバーは通常http://www.abc.com/def/にリダイレクトされます。リダイレクトに気づくだけで、urlparse.urljoin()または適切な関数<の言語の選択>を使用して、ブラウザのように2つのコンポーネントを融合させるだけです。