H2O + HDFS（Cloudera）

Question

h2o.jarから実行されているように見えますが、Clouderaクラスタをh2oインスタンスで起動して実行しています（間違っている場合は修正してください）がスタンドアロンですh2o。私は接続することができますが、HDFSのファイルはロードされません。 。

[Possible callback IP address: 10.96.243.46:33728] [Possible callback IP address: 127.0.0.1] Using mapper->driver callback IP address and port: 10.96.243.46:33728：（私はエッジ・ノードの 'PS' を介して見ることができる。このすべての

だから私は、私はいくつかの出力/コールバックアドレスを取得h2odriver.jar

java -jar /path/to/h2odriver.jar -nodes 2 -mapperXmx 5g -output /my/hdfs/dir

でインスタンスを開始しました

だから私は（私が10.96.243.46を使用する場合、同じことが起こる）のpythonを起動してみてくださいとの接続：

>>>h2o.connection(ip='127.0.0.1', port='33728')

と

'Connecting to H2O server at http://127.0.0.1:33728..... failed. 
H2OConnectionError: COuld not estalich link to the H2O cloud http://127.0.0.1:33728 after 5 retries 
... 
Failed to establish a new connection:[Errno 111] Connection refused',))` 

事は、私が見ることができH2O瓶/ Javaの仕事で私の画面上で取得：

`MapperToDriverMessage: Read invalid type (G) from socket, ignoring... 
MapperToDriverMessage: read: Unknown Type ` 

私はクラスタモードでH2Oを起動する方法を見つけ出すとすることはできません私たちのhdfsシステムにアクセスしたり、接続したりします。私はh2o.jarのバージョンに接続できますが、hdfsは見えません（edgenodeのファイルシステムを見ることができます）。 H2Oを起動して、接続されたHDFSシステムを見ることができるようにするにはどうすればよいですか（企業環境でCloudera 5.7を実行しています。Pythonは3.6、H2Oは3.10.0.6です。私たちはあなたがh2o.jarがHDFSに接続するためのものではありませんH2Oのスタンドアロン・バージョンであることを意味していることを正しいLDAP

Answer 1

を通じて設定されている信じて。

あなたの特定のHadoopディストリビューションのための適切なh2odriver.jarを使用すると、方法です

正確な初心者の手順はここにあります：

• はH2O "の最新安定版リリース"
• が

を "Hadoopの上インストール" それは、次のコマンドを実行すると言うタブを選択して選択しhttp://www.h2o.ai/download/に行く：

hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output hdfsOutputDirName 

[これは「hadoop jar」であり、wriとしては「java -jar」ではありません質問のtten。 ]

次のような出力が表示されるはずです。

Determining driver host interface for mapper->driver callback... 
[Possible callback IP address: 172.16.2.181] 
[Possible callback IP address: 127.0.0.1] 
... 
Waiting for H2O cluster to come up... 
H2O node 172.16.2.188:54321 requested flatfile 
Sending flatfiles to nodes... 
[Sending flatfile to node 172.16.2.188:54321] 
H2O node 172.16.2.188:54321 reports H2O cluster size 1 
H2O cluster (1 nodes) is up 
(Note: Use the -disown option to exit the driver after cluster formation) 

Open H2O Flow in your web browser: http://172.16.2.188:54321 

(Press Ctrl-C to kill the cluster) 
Blocking until the H2O cluster shuts down... 

が、それは「あなたのウェブブラウザで開くH2Oフロー」に述べている場所にWebブラウザをポイントします。

（出力の他のアドレスは診断であ​​り、エンドユーザーではありません。この場合には）

、Pythonの接続コマンドは次のようになります。

h2o.connect(ip = '172.16.2.188', port = 54321) 

私はHDFS」に入力して、ファイルのインポートを開始、Webブラウザ内の流れに行くお勧めします：//オートコンプリートが機能するかどうかを確認します。そうであれば、HDFS接続が機能しています。