同じマシンにHDPとiPython/JupyterをインストールしたUbuntu O/Sがあります。 私はPython2カーネルを使ってJupyterノートブックからさまざまなコマンドを実行できます。JupyterのPydoopエラー
しかし私はJupyterノートブックのPydoopに問題があります。このライブラリを使用してHadoopのHDFSのデータにアクセスしたいと思います。 私は成功しiPythonコンソールであるだけでなく、Pythonのコマンド・コンソールに次のコードを実行することができる午前:
import pydoop.hdfs as hdfs
hdfs.ls('/')
私はhdfs.lsで次の失敗を取得ただしはJupyterノートブックでコマンド:
/usr/local/lib/python2.7/dist-packages/pydoop/hdfs/core/__init__.pyc in core_hdfs_fs(host, port, user)
55 'module not initialized, check that Pydoop is correctly installed'
56 )
---> 57 return _CORE_MODULE.CoreHdfsFs(host, port, user)
RuntimeError: (255, 'Unknown error 255')
通常のpythonとipythonコンソールで同じコマンドが機能するので、間違いがあると思います。
host='zzz.zzz.zzz.zzz' <host name masked for question>
port=8020
user='hdfs'
hdfs.init()
hdfs.hdfs(host, port, user)
のpython -VコマンドはJupyterノートブックとPythonコンソールの両方が
私のPython 2.7.3を使用していることを示しています は、私は同じエラーを次のコマンドを使用してHDFSクラスを初期化するが、取得しよう次のコマンドを使用してJupyterノートパソコンを経由してHDFSにアクセスすることができる午前:
!hdfs dfs -ls /user/flume/data
私はpydoopパッケージはに提案し、次のスクリプトを経由してJupyter(「pydoop == 1.2.0」)で利用可能であることも確認することができます210
import pip
installed_packages = pip.get_installed_distributions()
installed_packages_list = sorted(["%s==%s" % (i.key, i.version)
for i in installed_packages])
print installed_packages_list
Jupyterでモジュールのエラーを修正する際に助けとなる点があります。
おかげ