0
にデータノードのサイズを指定することはできますか?私は、水平スケーラビリティが影響を受けることを理解しています。は、我々は、HDFSファイルシステム
にデータノードのサイズを指定することはできますか?私は、水平スケーラビリティが影響を受けることを理解しています。は、我々は、HDFSファイルシステム
HDFSは、それに接続されたデータノードと同じ大きさなので、ハードウェアを追加することでサイズを指定します。
少なくとも、特定のタスクに特定のサイズのディスクを割り当てるのではなく、パーティション化できるディスクとは異なります。
これは、 'datanode'というハードディスクをいっぱいにすると、' namenode'によって管理されると言っています。他の 'datanode'のデータをコピーしますか?そのデータのアドレスを 'namenode'のメタデータに保持しますか? – Vishrant
デフォルトでは、3つのHDFSブロックがすべてのデータノードにコピーされ、メタデータはそのブロックが存在する場所のnamenodeによって管理されます。したがって、すべてのデータノードディスクが同じサイズである場合、1つのデータノードがいっぱいになると、クラスタ全体が一杯に近いことを示す可能性があります。その場合、私はHDFSがシャットダウンし、スペースが足りないと言ってより多くの書き込みを許可しないと信じています –