DataFlowでのPCollectionのインデックス付け

Question

私は、CloudStream DataflowにPCollectionをそのまま書き込んでいます。彼らのインデックスによって最初のコレクションのアイテムを参照する別のコレクションを構築したいと思います。例えば

PC1：

strings go here 
some other string here 
more strings 

PC2：

0,1 
1,1 
0,2 

私は全体のパイプラインを書き込み、別の起動することなく、PC1内のインデックスを取得する方法がわからないんだ、とさえ私にはわからないんだけど読み込まれている行/レコード番号のレコードを保持する方法。単純に静的変数を使用するのは安全ですか？私は、プラットフォームの一般的な並列性に基づいていないと仮定します。

Answer 1

PCollection年代は、本質的に順序付けられていないので、 『コレクション内のアイテムのインデックス』のようなものはありません - しかし、あなたは、要素自体に行番号を含めることができます。PC1は整数であるPCollection<KV<Integer, String>>もいます行番号 - 基本的に行番号と対になっているテキストファイルから行を読み込みます。

現在のところ、これを行う組み込みソースを提供していません - ファイル名を入力にしてIOChannelFactoryを使用して行を1行ずつ読み込んでemitする単純なDoFn<String, KV<Integer, String>>を入力することをお勧めします内容は行番号でPC1になります。