google-cloud-dataflow

4熱

1答えて

Pipeline、PCollection、PipelineOptionsなどを含むシンボルのコンパイルエラー

今日、私は、Dataflow SDK for Javaの多くのキークラスを見つける際にエラーが発生したため、正しくコンパイルされた既存のコードのビルドブレイクを取得しています。例： [ERROR] /tmp/first-dataflow/src/main/java/com/google/cloud/dataflow/examples/common/DataflowExampleUtils.java

1熱

1答えて

google datastoreを使用してストリーミングモードのアイテムを確認する

アイテムがGoogle Datastoreに存在しない場合は、Google Datastoreにアイテムを挿入します。データフローストリーミングジョブを作成します。仕事 static class RawToObjectConverter extends DoFn<String, Entity> { @Override public void processElement(P

2熱

1答えて

PCollectionにPCollection <T>を組み合わせる簡単なアプローチ<Iterable<T>>

Google Cloud Dataflowを使用していて、PCollectionのすべての要素にアクセスする必要があるParDo関数があります。これを達成するために、PCollectionをすべての要素の1つのIterableを含むPCollectionに変換したいと思いました。私は、クリーナー/シンプル/より速い解決策があるかどうか疑問に思っていました。最初の方法は、ダミーのキーを作成し、Gr

1熱

1答えて

Bigtable-BigQuery DataFlow経由でのインポート：テーブル分割とタイムスタンプに関する2つの質問

DataflowでビルトインデータフローAPIを使用してBigtableからBigqueryにデータをインポートするジョブがあります。質問1：ソースデータがBigtableの中で一つの大きなテーブルにある場合は、どのように私が言う、与えられた、に基づいて動的にBigQuery内のサブまたは小さいテーブルのセットにそれを分割することができます私は2つの質問がありますBigtableの行キーは実行時

0熱

1答えて

なぜDoFnTesterはfinishBundle（）の出力をサポートしていませんか？

バンドルの要素をバッチで処理する関数がいくつかあります。 finishBundle（）メソッドで最後のバッチを出力する必要があります。 this previous questionの答えに記述されているようなものです。 Beam 0.4.0に基づく最新のDataflow 2.0.0-beta1リリースでは、テスト対象の関数がそこのコンテキストで出力メソッドを呼び出すと、DoFnTesterはfin

0熱

1答えて

Google Dataflowからhttps経由でインターネットに接続できますか？

パイプラインを使用して、ETLを実行する前にGoogle Storageのドキュメントをデータを抽出するWebサービスに送信したいと考えています。

2熱

1答えて

pythonでデータフロー/ビームからデータストアを照会する方法

Googleがデータフロー/ビームからのデータストアをPythonで照会するサポートをリリースしているようです。私はそれがローカルで実行するために取得しようとしているが、私はいくつかの問題に実行しているよ： import apache_beam as beam from apache_beam.io.datastore.v1.datastoreio import ReadFromDatastor

0熱

1答えて

PCollection <TableRow>からPCollectionに変換<KV<K,V>>

BigQueryの2つのテーブルからデータを抽出し、それをCoGroupByKeyで結合しようとしています。 BigQueryの出力はPCollection<TableRow>ですが、CoGroupByKeyにはPCollection<KV<K,V>>が必要です。 PCollection<TableRow>からPCollection<KV<K,V>>に変換するにはどうすればよいですか？でCoGro

0熱

1答えて

現在のスライドウィンドウの最大タイムスタンプを取得する方法

私はXサイズとY期間のスライディングタイムウィンドウを使用しています。各ウィンドウの出力をマークするために、PCollectionの現在のウィンドウのタイムスタンプを取得したいと思います。 PCollection<T> windowedInput = input .apply(Window<T>into( SlidingWindows.of(Duration.standar

2熱

1答えて

Clouding Dataflowを使用してPubSubからウィンドウを使用してGoogle Cloud Storageに書き込む

ストリーミングモードでpubsubを介してデータフローにメッセージを受信しています（これは私の欲求に必要です）。各メッセージは、GCSの独自のファイルに保存する必要があります。 TextIO.Writeの無制限コレクションはサポートされていないので、私は1つの要素をそれぞれ含むウィンドウにPCollectionを分割しようとしました。各ウィンドウをgoogle-cloud-storageに