1
ファイルをHDFSに配置しましたが、そのファイルがDFS(どのブロックがどのデータノードにあるか)にどのように散在しているかを正確に知りたいと思います。Hadoop HDFSデータファイル:データノードとブロックの表示
試したfsckですが、DFSに入れたデータファイルの名前を指定すると「無効なパス」エラーが発生します。
すべてのアイデア?
ファイルをHDFSに配置しましたが、そのファイルがDFS(どのブロックがどのデータノードにあるか)にどのように散在しているかを正確に知りたいと思います。Hadoop HDFSデータファイル:データノードとブロックの表示
試したfsckですが、DFSに入れたデータファイルの名前を指定すると「無効なパス」エラーが発生します。
すべてのアイデア?
これは、ファイルのすべてのブロックの位置を出力します
hdfs fsck /path/to/file -files -blocks -locations
を試してみてください。
Namenode Web UIもこの情報を提供します。 Utilities --> Browse the file system
の下で、ブロック情報を表示するファイルを選択します。
ありがとうございました。私はこのオプションを見ましたが、HDFS( "データファイル"と呼ばれる)に置いたファイルはfsckコマンド 'hdfs fsck datafile'で"無効なパス "エラーを起こします。 –
完全パスを指定する必要があります。ファイルが 'hdfs dfs -find/-name datafile -print'であることを知るためにfindを実行することができます。 – franklinsijo
findコマンドは次のエラーを返します:find:Permission denied:user = root、access = READ_EXECUTE' hdfs user ownership ...) –