hadoopのデータノードのディスクスペースを知っていますか？

Question

各データノードのディスク容量またはクラスタ全体のディスク容量を知る方法やコマンドはありますか？

私は、コマンドに

dfs -du -h/

を試みたが、私が多くのディレクトリのためにそれを実行する権限を持っていないので、実際のディスクスペースを得ることができないようです。

Answer 1

単純なセキュリティとして設定されたHadoopクラスタを使用している場合は、次のコマンドを実行してデータノードの使用状況を取得できます。あなたはHDFSの管理者のために、他のユーザーを使用している場合、上記のコマンド

export HADOOP_USER_NAME=hdfs ; 

*は、それぞれのHDFS管理者ユーザーでHDFSを置き換え、簡単なセキュリティで管理者権限を取得するために使用することができます。

hadoop dfsadmin -report 

代わりに、それぞれのデータノードにログインして、以下のunixコマンドを実行して、そのサーバーのディスク使用率を取得します。

df -h 

Answer 2

ネームノードの[データアノード]タブでは、すべてのデータノードとそのディスクの使用状況に関する情報を表示します。 クラスタの合計ディスク容量は、メインページの要約部分に表示されます。 UIから

http://namenode-ip:50070

Answer 3

：

http://namenode:50070/dfshealth.html#tab-datanode

--->あなたのデータノードに関するすべての詳細を提供します。

コマンドラインから：あなたの全体HDFSの詳細と個別datanodesを与えるか、または

れる--->

sudo -u hdfs hdfs dfsadmin -report

：

各データノードのディスク容量を取得するには

sudo -u hdfs hdfs dfs -du -h /

---> which wiルートの下の各フォルダの合計ディスク使用量を返しますディレクトリ