保護されていないhdfsから保護されたhdfsクラスタへのファイルの転送

保護されていないHDFSクラスタからKerberos化されたクラスタにファイルを転送したかったのです。 distcpを使ってファイルを転送しています。私は次のコマンドを使用しました。保護されていないhdfsから保護されたhdfsクラスタへのファイルの転送

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<ip>:8020/<sourcedir> hdfs://<ip>:8020/<destinationdir>

kerberizedクラスタで上記のコマンドを実行すると、次のエラーが発生します。

java.io.EOFException: End of File Exception between local host is: "<xxx>"; destination host is: "<yyy>; : java.io.EOFException; For more details see: http://wiki.apache.org/hadoop/EOFException

出典

2017-02-15 Midhun Mathew Sunny

お試しいただけますか'hdfs：/'の代わりに 'webhdfs：/'を使用していますか？両方のクラスタのための –

のuris '？ –

webhdfsで試しました。しかし、例外 '17/02/15 11:42:17 ERROR tools.DistCp：引数が無効です：java.io.IOException：予期しないHTTP応答：コード= 404！= 200、op = GETDELEGATIONTOKEN、メッセージ=見つかりません' –

これは誤りである。クラスタはRPC通信に遮断され

distcpが

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://xxx:8020/src_path webhdfs://yyy:50070/target_path

のように書き換えることができる上記のように、そのような場合には、プロトコルが、使用することができるwebhdfs

これはとても良いですblog post for distcp

出典

2017-02-15 17:01:43

保護されていないhdfsから保護されたhdfsクラスタへのファイルの転送

答えて

関連する問題