0
私は、ファイルのコレクションを読み込み、各ファイルの各行に対して一連のDataflowブロックを実行するDataflowパイプラインを開発しています。データフローの結果を結合する
すべてのファイルの中の各行に対してのステップが完了したので、ファイル自体をさらにブロックしたいと思っていますが、これはどのように可能かわかりません。
TransformManyBlockで処理を分割するのは簡単ですが、どうすれば統合できますか？
私はApache CamelのSplitterとAggregatorの機能に慣れていますか？それとも、Dataflowの意図と私の使用目的の間に基本的なつながりがないのですか？
私はパラダイム、BUを誤解することができます私が待つ 'n'個の入力があるので、' JoinBlock'が私のユースケースでどのように動作するのかよくわかりません。 各ファイルは、処理する行数が1,000行になる場合があります。各行には、行の内容を処理するための一連の 'ブロック'があります。私はファイル内のすべての行のすべてのブロックが完了したら、ファイルの処理を続けたいと思っています。 概念的には、これらは、ファイルごとのサブフローの「n」シーケンスです。 'JoinBlock'は、入力の固定セットを処理するのに適しています。 – nullPainter
あなたの質問から、これは明らかではありませんでした。このような状況は、さまざまな方法で解決できます。例えば、ブロックをフィルタリングするか、または "MaxDegreeOfParallelism"を増やしてください。あなたのコードがなければ、あなたを助けるのは難しいです。 – VMAtm