なぜ豚はバッチ処理と呼ばれるのですか

Question

豚はバッチ処理ですか？もしそうなら、バッチ処理と呼ばれる理由を教えてください。それはマップを減らすため、一括処理ですか？

Answer 1

データ処理では、すべてのレコードを別々に処理することができます（タイムスタンプ付きレコードはイベントと呼ばれます）、バッチを呼び出したレコードのコレクションを処理できます。

Pigは、入力レコードを1つずつ処理しないため、バッチ処理を実行します。実際に、Pigは入力パス内のすべてのレコードを1つのバッチとしてロードします。

マップReduceはバッチ処理用に設計されたデータ処理フレームワークで、mapreduceはバッチ処理を意味しますが、バッチ処理はmapreduceではありません。