HDFSとPython3とのやり取りに最適なモジュールは何ですか？

Question

hdfs3、snakebiteなどがあります。どれが最高にサポートされ、包括的ですか？

Answer 1

私が知る限り、思うほど多くの可能性はありません。しかし、私はwebsiteまたは端末から実行することでダウンロードすることができ、公式のPythonパッケージhdfs 2.0.12をお勧めしたい：

pip install hdfs 

機能のいくつか：WebHDFSため

• パイソン（2及び3）バインディングを（およびHttpFS）API、 は、安全なクラスターと安全でないクラスターの両方をサポートしています。
• コマンドラインインターフェイス ファイルを転送し、便利なnamenode URLキャッシングのためにエイリアス を使用して対話型クライアントシェルを開始します。
• 追加機能 オプションの拡張子：avro、 HDFSから直接Avroファイルを読み書きします。データフレーム、Pandasのデータフレームを読み込んで保存します。 kerberosから にKerberos認証クラスターをサポートしています。

Answer 2

私はsnakebite、hdfs3、hdfsを試しました。

Snakebiteはダウンロードのみ（アップロードなし）をサポートしているため、私にとっては問題ありません。 HAが設定サポートしているので、それは私の選択だった、しかし、私はそれがデータノードのホスト名を使用してmultihomed networksで動作するように管理していなかったこれら3のみhdfs3のうち

（ここで説明する問題：https://rainerpeter.wordpress.com/2014/02/12/connect-to-hdfs-running-in-ec2-using-public-ip-addresses/）

だから私は終わりましたアップロードをサポートしているので、hdfs（2.0.16）を使って起動します。私はHAをサポートするためにbashを使っていくつかの回避策を追加しなければならなかった。

PS。 Hadoopファイルシステムと対話するために開発されたPythonライブラリを比較する興味深い記事があります。http://wesmckinney.com/blog/python-hdfs-interfaces/