寄木細工のファイルが複製され、HDFSに保存される様子を示します。

Question

寄せ木張りの形式で保存されたデータは、HDFS上に多数の小さなファイルがあるフォルダになります。

これらのファイルがどのノードでどのようにHDFSに複製されているかを確認する方法はありますか？

ありがとうございます。

Answer 1

あなたの質問を正しく理解していれば、実際にどのデータブロックがどのデータノードにあるのかを追跡したいと思っています。これはapache-spark固有ではありません。以下のように

あなたはHadoopのfsckコマンドを使用することができます。これは、指定したパス内のすべてのブロックのための場所を出力します

hadoop fsck <path> -files -blocks -locations  

。