Hadoopブロックサイズをデフォルトの最小ブロックサイズよりも小さく変更するにはどうすればよいですか。Hadoopブロックサイズを最小ブロックサイズより小さく変更する
このマニュアルページ(https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)では、デフォルトで最小ブロックサイズまたはdfs.namenode.fs-limits.min-block-size
が1048576(1 MB)に設定されています。しかし、それをhdfs-site.xml
の100KBと同じ値より低く変更し、同じ時間にdfs.blocksize
を200KBに変更したとき(これはまだ変更された最小ブロックサイズよりも大きい)、私はまだエラーを受け取りますdfs.blocksize
は最小ブロックサイズ1048576より小さくすることはできません。
また、私はHadoop 2.7.1を使用しています。
私の悪いところは、hdfs-default.xmlではなくhdfs-site.xmlで試してみるということです。 – IFH
hadoopサービスを再起動してからジョブを実行しようとしましたか? –
サービスを再起動しようとしましたが、dfs.blocksize <1048576と表示されます。でも、最小ブロックサイズを100 KBに設定しました。 – IFH