スプリットサイズをmapreduceフレームワークの実際のブロックサイズより大きく設定するとどうなりますか？

Question

私の知る限り、1つのマッパーが1つの分割に割り当てられます。

しかし、スプリットサイズを実際のブロックサイズより大きくするとどうなりますか？

例：Block size = 128 MbとSplit Size = 130 Mbの場合、これらの場合、いくつのマッパーが実行されますか。 1つのマッパーか複数のマッパーですか？

Answer 1

分割サイズをブロックサイズよりも大きく設定できます。しかしこの場合、1つの分割マッパを得るためには、ブロックnとブロックn + 1が1つのデータノードに位置しないかもしれないので、ネットワーク転送を引き起こす可能性があるhdfsからいくつかのブロックを読むべきです。

例では、splitsize = 130mbを設定し、入力データが130mbファイルの場合、1マッパーを使用します。