インパラnamenode rpcの設定方法Pythonのibisまたはリクエストのポート番号

Question

私は 'ibis-framework'を使用しています。 （;多分HAの目的で、Clouderaのポートを推奨している）私は私のために正しいものが8022であるのに対し、（トキに呼ばれる）requestsにより構築namenoderpcaddressは、ポート8020を持っているので

hdfs_client = ibis.hdfs_connect(...) 
impala_client = ibis.impala.connect(..., hdfs_client=hdfs_client) 
db = impala_client.database('abc') 
data = pd.DataFrame(...) 
db.create_table('tb_name', obj=data, format='parquet', force=True) 

この

は失敗しています。

ConnectionError: HTTPConnectionPool(host='ip-0-0-0-0.ec2.internal', port=50075): Max retries exceeded with url: /webhdfs/v1/tmp/ibis/pandas_7ae170c27ee6426e97e0f84aa9a2a778/0.csv?op=CREATE&user.name=user&namenoderpcaddress=ip-0-0-0-0.ec2.internal:8020&overwrite=false&user.name=user (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7feb44be49d0>: Failed to establish a new connection: [Errno -2] Name or service not known',)) 

（上記MSGでのIPアドレスは、私が編集した）

私は、このポート番号イビスや要求を伝えることができますどのように任意のアイデア？

ありがとうございました。

Answer 1

ibis.hdfs_connectは、使用する引数が

となります。