ローカルファイル、ftp、http：pythonのユニファイドディレクトリツリーウォーク

Question

私のtestkernelプログラムでは、さまざまなプロトコルを使ってディレクトリツリーを歩みたいと思っています。私が望むと思うものは、os.walkのようなものですが、ftpのためにも、典型的なhttpディレクトリのリストも（http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.2-precise/のように）動作します。これは、openanything.py

のようなものです。私はftptoolや、ftputilを含むいくつかのオプションを見つけました。これは、Ubuntuにあるという利点があります。私はすでにBeautiful Soupを使用して、httpディレクトリのリストを自分の非常に単純な再帰的な散歩を実装しました。しかし、私がそれらをos.walkと一緒に組み合わせる前に、それは既に済んでいるのだろうかと思います。

httpウォーキングのセマンティクスは、ファイルシステムやftpのように明確に定義されていないことがわかっています。そのため、ディレクトリはURLの末尾にスラッシュが付いていることがわかりますディレクトリ。私は無限の歩行を避けるために注意する必要があります。しかし、os.walkのサブセット（たとえばトップダウンのみ）でも、この種のものは役に立ちそうです。

これは完了しましたか？何かアドバイス？ を（この部分のコードは、画像のダウンロードなどPDFダウンロードなどの改良を必要とすることができるが）、 をとにかく、ここでソース/モジュールです：

Answer 1

まあ、私は実際にウェブディレクトリを歩くと、ファイルをダウンロードするコードの一部を書きました：

Download files and dirs recursively from a remote source