google-data-procで「numpyという名前のモジュールがありません」というエラーが表示され、google-data-procでnumpyをアップグレードするにはどうすればよいですか？

Question

私は

import numpy as np 
ImportError: ('No module named numpy', <function _parse_datatype_json_string at 0x7fc294e25230>....... 

グーグル、クラウド・データ-PROCに私のノートを実行しかし、同じのpython 2.7

でローカルで実行しているときにエラーを取得しないとき私がそのバージョンを発見し、このエラーを取得しておきます私の地元は numpy.version.version '1.11.1'

ですが、Googleのデータ-PROCには ** '1.8.2' **

01年上であります他の回答で述べたように

はImportError: No module named numpy - Google Cloud Dataproc when using Jupyter Notebook私は、これは

ピップコマンドはピップを試してみました

Googleのデータ-PROCの権限を持っていない私はまだ1.8.2バージョンを取得

import sys 

sys.path.append('/usr/lib/python2.7/dist-packages') 

os.system("sudo apt-get install python-pandas -y") 
os.system("sudo apt-get install python-numpy -y") 
os.system("sudo apt-get install python-scipy -y") 
os.system("sudo apt-get install python-sklearn -y") 

import pandas 
import numpy 
import scipy 
import sklearn 

をアップグレードしようとしましたsudoで、それも動作しませんでした。

IOError: [Errno 13] Permission denied: '/usr/local/bin/miniconda/lib/python2.7/site- 
packages/easy-install.pth' 
my-user-name@cluster-name-1-m:~$ sudo pip install numpy 
sudo: pip: command not found 

Answer 1

編集：私たちは今、added a metadata optionJUPYTER_CONDA_PACKAGESが自動的Jupyterのセットアップ時にcondaを通じてパッケージを事前にインストールしてきました。今examples、によってあなたのパッケージがインストールされ得るために好ましい方法をカバーしたようである：このメタデータの値を使用しない場合には

gcloud dataproc clusters create my-cluster \ 
    --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh \ 
    --metadata JUPYTER_CONDA_PACKAGES=numpy:pandas:scikit-learn:scipy 

、後世多くの内部の詳細については、以下の歴史的な答え：

あなただけ実行することができ、あなたのマスターノード上のようDataprocのjupyter初期化アクションも、condaをインストールします。

sudo su 
conda install numpy 

を、それが使われている方法に応じて、あなたかもしれませんあなたのワーカーノードにもそれが必要です。メインのjupyter.shスクリプトをカスタマイズして、行の後ろのどこかに行conda install numpyを追加し、カスタム起動アクションをどこかのGCSにアップロードして、gs://dataproc-initialization-actions/jupyter/jupyter.shの代わりに自動的にデプロイメントにインストールすることができます。ような何か：

gsutil cp gs://dataproc-initialization-actions/jupyter/jupyter.sh . 
echo "conda install numpy >> jupyter.sh" 
gsutil cp jupyter.sh gs://my-bucket/jupyter_with_numpy.sh 
gcloud dataproc clusters crreate my-cluster \ 
    --initialization-actions gs://my-bucket/jupyter_with_numpy.sh 

最後に、あなたもcondaパッケージを参照し、インストールするJupyter UIに組み込まれているパッケージマネージャを使用することができます。