Dataflow 2.1.0のIntrabundleParallelizationに代わる方法はありますか？

Question

dataflow 2.Xのリリースノートによると、IntraBundleParallelizationは削除されています。データフロー2.1.0でDoFnsの並列性を制御/増加する方法はありますか？

データフローの1.9.0バージョンでIntrabundleParallelizationを使用したとき、パフォーマンスが向上しました。

Answer 1

コールが完了した後にのコールがProcessElementコールのハンドルを保持しているため、これは削除されました。これは安全ではなく、動作することが保証されていません。

しかし、私はそれが有用な抽象化であったことに同意します。そして、私たちがまだ置き換えをしていないことは残念です。回避策として

、あなたは次のことを試すことができます：あなたのDoFnの@Setupで

• 、あなたのDoFnの@StartBundleでスレッド
• の必要数とExecutorを作成し、エグゼキュータ
を包む ExecutorCompletionServiceを作成します
• @ProcessElementには、要素の処理結果を表すFutureを提出します。
• @ProcessElementには、als完了した先物についてCompletionService
• @FinishBundleには、残りの未来がすべて完了するまで待って結果を出力し、CompletionServiceをシャットダウンします。

はないに覚えておいてください、あなたの先物でProcessContextを使用しています。 ProcessContextは現在のスレッドと現在のProcessElement呼び出し内からのみ使用できます。