hadoop dfsでクラスタのフルパスを確認する方法

Question

hadoop dfsデフォルトでは相対パスのみが表示されます。例えば

のHadoop DFS -ls/ ..../TMP1/ ..../TMP2/

は、どのように私はそれからであるクラスターたのかを確認してください。完全なパス。

Answer 1

Hadoopクラスタは1つしかありません。このクラスタでは、一度Namenode（アバターノードまたはバックアップノードを追加できます）と複数のデータノードがあります。 HDFSはクラスタレベルで構成されているため、namenodeはHDFSマスターコンポーネントを実行しており、すべてのデータノードはHDFSスレーブコンポーネントを実行していますが、論理的な観点から見るとクラスタ内にはHDFSが1つしかありません。

hadoop Dfs -lsコマンドを呼び出すと、HDFSの論理ビューが表示され、各ノードで利用できるファイルシステムビューが表示されます。これは誰もがどんなノードで見えるかです。

HDFS設定では、HDFSがネームノードとデータノード内で設定されている物理フォルダについて説明しています。 conf/hdfs-sites.xmlを開き、物理パスが何であるかを確認してください。

<property> 
<name>dfs.name.dir</name> 
<value>FOLDER_INFO</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>FOLDER_INFO</value> 
</property>