2016-04-12 21 views
1

同じマシンにHDPとiPython/JupyterをインストールしたUbuntu O/Sがあります。 私はPython2カーネルを使ってJupyterノートブックからさまざまなコマンドを実行できます。JupyterのPydoopエラー

しかし私はJupyterノートブックのPydoopに問題があります。このライブラリを使用してHadoopのHDFSのデータにアクセスしたいと思います。 私は成功しiPythonコンソールであるだけでなく、Pythonのコマンド・コンソールに次のコードを実行することができる午前:

import pydoop.hdfs as hdfs 
hdfs.ls('/') 

私はhdfs.lsで次の失敗を取得ただしはJupyterノートブックでコマンド:

/usr/local/lib/python2.7/dist-packages/pydoop/hdfs/core/__init__.pyc in core_hdfs_fs(host, port, user) 
55    'module not initialized, check that Pydoop is correctly installed' 
56  ) 
---> 57  return _CORE_MODULE.CoreHdfsFs(host, port, user) 

RuntimeError: (255, 'Unknown error 255') 

通常のpythonとipythonコンソールで同じコマンドが機能するので、間違いがあると思います。

host='zzz.zzz.zzz.zzz' <host name masked for question> 
port=8020 
user='hdfs' 

hdfs.init() 
hdfs.hdfs(host, port, user) 

のpython -VコマンドはJupyterノートブックとPythonコンソールの両方が

私のPython 2.7.3を使用していることを示しています は、私は同じエラーを次のコマンドを使用してHDFSクラスを初期化するが、取得しよう次のコマンドを使用してJupyterノートパソコンを経由してHDFSにアクセスすることができる午前:

!hdfs dfs -ls /user/flume/data 

私はpydoopパッケージはに提案し、次のスクリプトを経由してJupyter(「pydoop == 1.2.0」)で利用可能であることも確認することができます210

import pip 
installed_packages = pip.get_installed_distributions() 
installed_packages_list = sorted(["%s==%s" % (i.key, i.version) 
for i in installed_packages]) 
print installed_packages_list 

Jupyterでモジュールのエラーを修正する際に助けとなる点があります。

おかげ

答えて

0

私はJupyterをアンインストールすることで問題を自分で解決し、むしろアナコンダを経由してすべてのもの(パイソン、iPython、Jupyter、など)をインストールすることを選ぶことができました。

似たような問題を抱えている人に役立つことを願っています。

問題を特定するのに時間がなくても、問題がインストールされていないか、最新でないかのいずれかの問題が発生している可能性があります。