HDFSとHIVEのパーティション分割

Question

これは簡単なことかもしれませんが、私は答えを見つけるのに苦労しています。データがHDFSにロードされると、そのデータは複数のノードに分散されてロードされます。データは分割され、配布されます。
HIVEには、データをPARTITIONするオプションがあります。 PARTITIONオプションについて言及しなくても、ハイブテーブルをロードするときに、クラスタ上の別のノードにデータが分割されて分散されることは間違いありません。この場合、このコマンドにはどんな利点がありますか。

Answer 1

HDFSパーティション：主にノード上のファイルのストレージを扱います。フォールトトレランスのために、ファイルはクラスタ全体にレプリケートされます（レプリケーションファクタの使用）

ハイブパーティション：ハイブの最適化手法です。 ハイブDBの内部では、テーブルを格納している間、クエリのパフォーマンスを向上させるために、パーティション分割を行います。 パーティショニングは、データがハイブに格納される方法とデータを読み取る方法に関する情報を提供します。 ハイブパーティション化は、テーブルデータの列レベルで制御できます。