apache-beam

1熱

1答えて

PubSubから受け取ったメッセージを、Apache BeamのTextIOを使用してGCSのテキストファイルに書き込む方法はありますか？ withWindowedWrites（）やwithFilenamePolicy（）のようないくつかのメソッドを見たが、ドキュメンテーションでそれを見つけることができなかった。

3熱

2答えて

Google Cloud Dataflow - Apache BeamのPython SDKを使用してスキーマを推論してavroファイルを読み書きする

問題： Python SDKを使用してGoogle Cloud StorageからAvroファイルを読み込むクラウドデータフローパイプラインを作成しようとしています。 Google Cloud StorageにAvroファイルを書き戻します。 Apache BeamのWebサイトで提供されているいくつかの例を調べたところ、次のコードを実行しようとしました。私はReadFromAvroとWriteT

1熱

1答えて

登録コーダーは、ApacheビームSDKでデータフロー

上では動作しません、登録コーダは動作しません。私は、BigQueryののTableSchemaでSimpleFunctionを使用したいが、それはシリアル化する必要があります。私はCodeRegistryにTableSchemaCoderを追加しますが、使用していないようです。どうすれば解決できますか？ // Coder import com.google.api.services.bi

0熱

1答えて

HBaseからチャンクを読み取るDataflow/Beam

hbaseデータベースをApache Beam/Dataflowに10レコードのバッチで取り込む方法を理解しようとしています。これまでのところ、私は各行に対してトリガーを提供する以下のようなものを試しました。 PCollection<KV<Integer,String>> records = p.apply("read",HBaseIO.read() .withConfigura

0熱

1答えて

Apache Beamパイプライン（データフロー） - 無制限データの実行時間の解釈

ビームパイプライン実行のデータフロー監視インターフェイスでは、各変換ボックスに時間間隔が指定されています（https://cloud.google.com/dataflow/pipelines/dataflow-monitoring-intf参照）。制限付きデータの場合、これは変換が完了するのに要する推定時間であると私は理解していました。しかし、私のストリーミングの場合のような無制限のデータの場

0熱

1答えて

Google App Engineからデータフローテンプレートを起動

Google App Engineを使用してデータフローテンプレートを起動します。私はコードを書いたが、ランタイムエラー 'NoClassDefFoundError'が出る。マイApp Engineのコード： - doGet(HttpServletRequest request, HttpServletResponse response){ HttpTransport http

1熱

1答えて

FileBasedSourceはGoogle Cloud Storageのいくつかの特定のファイルに対応するグロブを理解できません

Google Cloud Storageに保存されたカスタマイズされたバイナリファイルをデータフロージョブで処理する必要があります。これを行うには、私はカスタムFileBasedSourceを書きました。ドキュメントに記載されているように、は、Javaグロブ、単一ファイル、または1つのファイルのオフセット範囲として定義されたファイルパターンでバックアップされています。私の場合、私は、/path

0熱

1答えて

サイド入力を使用するとエラーが発生する--SideInputsメソッドがKVタイプを入力として受け入れない

サイド入力を使用すると、次のエラーが発生します。以下のモデルコードで： PCollectionView<Map<String, String>> view1= information .apply(View.<String, String>asMap()); PCollection<KV<String, Position>> FileData; FileData.appl

1熱

1答えて

TextIO.writeをセッションウィンドウで書き込むとGroupByKeyの消費例外が発生する

セッションウィンドウを使用し、Apache Beam 2.0.0でTextIO.write経由でファイルに書き込むとき、TextIO.write（）を呼び出すと次の例外が発生します。 java.lang.IllegalStateException: GroupByKey must have a valid Window merge function. Invalid because: Window

0熱

1答えて

テーブル作成後のApache Beamパイプラインクエリテーブル

BigQueryテーブルに結果を書き込むApache Beam/Dataflowパイプラインがあります。私はパイプラインの別の部分のためにこのテーブルを照会したいと思います。しかし、私はこのパイプラインの依存関係を適切に設定する方法を理解できないようです。私が書いた（そして次に照会したい）新しいテーブルは、いくつかのフィルタリングロジックのために別のテーブルに結合されたままになっているので、実際に