なぜデータフローはSortByKeyをサポートしていませんか？

Question

私は、なぜデータフローがApache Sparkのような 'SortByKey'をサポートしないのだろうと思っていました。

「Order By」はスケーラビリティではないため、BigQueryには大きなテーブルがあり、ソートできません。だから、私はBigQueryの出力をDataflowに移してそこでソートすることを考えていました。しかし、SortByKeyはなく、コンバイナを書く必要があるようです。

ご意見をお寄せください。

Answer 1

ソート（特にキーによる）は、スケーラブルな操作ではないグローバルなシリアル処理を必要とします。 Apache Beam/Dataflowは、しばしば不要なので、このようなサポートを提供しません。

一般的にニーズをよりスケーラブルに扱うさまざまな代替方法があります。たとえば、各キー内の値をソートすると、各キーを並行して処理できます。別の一般的な使用例は、グローバルにまたはキーごとにTopNです。ここでも、実際にソートするよりもはるかに効率的にサポートできます。

並べ替えの必要性とその理由を詳しく説明できますか？これにより、BeamおよびDataflow SDK内でこれを実装するためのオプションを識別することが可能になります。