ハイブのバケツの数とレデューサーの数を同じにする理由は何ですか？

Question

ハイブでは、なぜバケツの数はレデューサーの数に等しくなければならないのですか？

Answer 1

これはmapreduce（他のすべてが同等）の作業の最適化方法です。タスクはレデューサーの間で分けられます。

ハイブ0.xと1.xでは、hive.enforce.bucketing = trueを指定する必要があります。これは、テーブルのバケツの数に基づいて減速機の数が自動的に決定されることを意味します。それ以降のバージョンのハイブ（2.x）では、これがデフォルトで設定されています。

出典：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables