Google Cloud Dataflowアクセスクラウドストレージの.txtファイル

Question

beam.Filterの一部として使用される単語のリストを含むGCSに格納された.txtファイルがある場合、このリストはApacheのビームパイプライン内で動的にアクセスできますか？私はこのリストをパイプライン内のグローバル変数として定義できることを知っていますが、ファイル全体をリストに読み込む方法と、これを達成するためのビームトリックがあるかどうかはわかりません。助言がありますか？ここで私は次のエラーを取得動作していない私の現在の実装..

def boolean_terms(word, term_list): 
    if word in term_list: 
    return (word, 1) 
    else: 
    return (word, 0) 

# side table 
filter_terms = p | beam.io.ReadFromText(path_to_gcs_txt_file) 

words = ... 

filtered_words = words | beam.FlatMap(lambda x: 
    [boolean_terms(word, filter_terms) for word in x]) 

ある「例外TypeError：型の引数を 『_InvalidUnpickledPCollection』反復可能ではありません」

Answer 1

あなたはside inputとして単語のリストにアクセスすることができます。 beam.Filterトランスフォームは、そのリンクの例では、FlatMapとParDoというまったく同じ方法で、フィルタ関数からのサイド入力の使用をサポートしていると思います。

のような何か：

words | beam.Filter(lambda x, filter_terms: word in filter_terms, 
        filter_terms=pvalue.AsList(p | beam.io.ReadFromText(path)))