2017-02-09 2 views
0

--userオプションを付けてjupyterをインストールしても問題ありません。私はsparkを実行し、ノートブック内でHDFSから読み込み、私の個人的なユーザと一緒にjupyterを実行すると、HDFSのファイルアクセス権に問題が生じます。したがって私はhdfsユーザ(私たちのクラスタはすべてのsparkジョブがこのhdfsユーザによって実行されるように設定されています)で実行することに決めましたが、私の個人ユーザの/home/myuser/.localフォルダにある依存関係を見つけることができません。 jupyterに現在のユーザー(hdfs)として実行するように指示する方法はありますか、別のユーザーの自宅のバイナリと依存関係を探していますか?別のユーザーと一緒にユーザーローカルjupyterをインストールする

また、これがさらなるオプションを開くことができるなら、私はゲートウェイとしてトリーを使用しています。

答えて

0

は、古いHadoopのトリックを試してみてください。hdfsとして、ドライバ・レジスタは、糸執行を割り当てるときよう

  • は、export HADOOP_USER_NAME=hdfsコマンドを挿入し、独自のユーザー
  • の下ではなくスパーク環境でスパークセッションを実行します。

(当然のケルベロスでは動作しません。しかし、それはケルベロスに対するhdfsとして認証の問題です...)

+0

パーフェクト。今私は別の問題(おそらくtoree + pythonに関連している)が、これは完璧に働いた – Chobeat

関連する問題