hdfs dfs -lsコマンドの結果

Question

hdfs dfs -lsコマンドの実行では、結果がクラスタに格納されているすべてのファイルか、実行されているノード内のパーティションだけであるかどうかを知ることができます。 私はhadoopでnewbyです。私はいくつかの問題を各ノードのパーティションをserchingしています。

はあなたに

Answer 1

質問ありがとう：「結果がクラスタに格納されているすべてのファイルであるか、あれば... ...」

あなたはlsコマンドから見る何を、すべてのファイルですクラスタに格納されます。具体的には、ファイルパスと名前の束が見えます。これらの情報はネームスペースの一部であり、ネームスペースによって管理されます。

「...それが実行されたノードでちょうどパーティション..」

あなたはHDFSを考えた場合には、他のノード上のこのノード上のいくつかのファイル、およびいくつかのファイルを保持します。あなたは誤解しました。そんなことはない。 NameNodeは名前空間とblocksMapのトラックを保持します。実際、ファイルはブロックで構成されています。 NameNodeは、ファイルにいくつのブロックがあり、どのブロックにDataNodeが保持されているかを知っています。 NameNodeは、ブロックが保存されている場所を決定し、ユーザーにはわかりません。各ブロックはデフォルトで3つのレプリケーションを持ち、各レプリケーションは1つのDataNodeにあります。したがって、1つのファイルに2つのブロックがあり、最大6つのDataNodeに配置することができます。DataNodeは完全なファイルを保持しません（この例ではtrueです。 ）。詳細については

、あなたの明確な回答@waltersuためHdfs Design