HDFSのファイルブロック

Question

Hadoopは、同じファイルの異なるブロックがクラスタ内の異なるマシンに格納されることを保証しますか？明らかに、複製されたブロックは異なるマシン上に存在します。

Answer 1

番号HDFS Architecture Guideを見ると、ファイルpart-1のレプリケーションファクタは3で、3,4,5の3つのブロックで構成されています。 2と5は1つのケースで同じデータノードにあります。

Answer 2

どうやらない：私は思う反面http://hadoop.apache.org/common/docs/r0.20.2/hdfs_user_guide.html#Rebalancer

Answer 3

。レプリケーションを除いて、各データ・ノードは、各データ・ブロックをローカル・ファイル・システム内の独自のファイルとして保管します。

Answer 4

まあHadoopはそれを保証しません。これはセキュリティが大幅に失われているため、ジョブ内のファイルを要求している場合、データノードがダウンするとジョブが失敗します。ただブロックが利用できないからです。あなたの質問のためのユースケースを想像することはできません、多分あなたはあなたの意図が本当に何かを理解するためにもう少し伝えることができます。