HDFSスペース割り当て（サイズ/使用/使用可能）

Question

私はいくつかの参考文献を読みましたが、HDFSシステム上にファイルを保存するために利用できる基本的な合計サイズがどのように決定されているかはまだ分かりません。

HDFSサービスを実行している1TBディスクを使用している場合、ファイルを追加するときにdfsの部分が自然に拡張されますか、デフォルトでDFSに割り当てられているディスクの部分がありますか？

Answer 1

はい、HDFSのディスク使用量はとなり、ファイルが追加されるとになります。 デフォルトでは、データノードはストレージディレクトリdfs.datanode.data.dirで使用可能なすべての領域を使用しようとします。データノードの容量を設定し

は

Total Storage Capacity - Reserved Storage 

Reserved Storageは、デフォルトでは0Bです。あなたは非HDFSの使用のためのストレージにいくつかのスペースを確保したい場合は、datanodes

<property> 
    <name>dfs.datanode.du.reserved</name> 
    <value>107374182400</value> <!-- 100 GB reserved --> 
    <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description> 
</property>