エアスパイクスキャンジョブをマップリダクションモードに変更するにはどうすればよいですか？

Question

私たちは毎日エアロスパイクをスキャンし、スキャンの結果から何かを得るでしょう。 ここでは、スキャンを地図削減ジョブに変更することを考えています。しかし、私はこの試みが失敗するかもしれない何かがあることを知ります。スキャンジョブを複数のサブタスクに分割する簡単な方法が見つかりませんでした。たとえば、私は8つのノードを1つの航空宇宙クラスターに持っていますが、マッパーのデータセットを配布できる唯一のパターンは、8つのマッパーを使って8つのノードをスキャンすることです。 1つのノードに4つのセットがありますが、もちろん、より多くのマッパーを使用してノードの各セットをスキャンできますが、これは各マッパーのデータセットの不均衡を引き起こします。

複数のプロセスを使用して1つのノードで1つのセットをスキャンする手段はありますか？

Answer 1

レコードを読み込んでデータを集約する場合は、ストリームUDFを考慮する必要があります。