apache-beam

0熱

1答えて

java.lang.NoClassDefFoundErrorが：ORG/apacheの/ビーム/ SDK /ランナー/ PipelineRunnerランタイムエラーの取得データフロー2.xの

への移行後：私は私のpom.xml に以下の持っているにもかかわらず "java.lang.NoClassDefFoundError: org/apache/beam/sdk/runners/PipelineRunner" を <dependency> <groupId>com.google.cloud.dataflow</groupId> <artifactId>go

0熱

1答えて

PubSubから読み込んでGoogle Cloud Storageに書き込むデータフロージョブ

PubSubトピックに固定数の文字列（テストに使用された800,000個の1KB）を配置し、次のApache Beam（2.1.0）ジョブをデータフロー、正確に一度のセマンティクスは期待どおりに保持されます。（データフローのコンソールに示すように）、そして、再び出力ファイルをキックオフ同じジョブが実行された場合は、すべての要素の前に排水 import org.apache.beam.sdk.op

1熱

1答えて

Dataflow v2.1のカスタムバインドされていないシンクを作成

私はmvn依存性google-cloud-dataflow-java-sdk-allバージョン2.1.0を使用しています。パイプライン用のカスタムシンクを追加しようとしています。パイプラインでは、私はPubsubメッセージを取得しており、最終的にこれらをPCollection of Stringsに変換しています。これは私が設定したパイプラインの簡易版である：チームの誰かがすでにこのデータを書

0熱

3答えて

Apache Beamバージョン2.2.0

私は現在、Apache Beamバージョン2.1.0を使用していますが、幸運にも新しいバージョンで修正されたバグがあります。 thisによれば、バージョン2.2.0は準備ができているようだが、リリース日はまだ公表されていない。誰が起こることができるか知っていますか？

0熱

1答えて

Gradleでrunnable jar google Dataflowプロジェクトを作成

Google DataflowプロジェクトからGradleを使用して実行可能なjarファイルを作成しようとしています。は、私はちょうどjarファイルをエクスポートするbuild.gradleにこのコードを追加： task fatJar(type: Jar) { manifest { attributes 'Implementation-Title': 'Deepmind J

1熱

1答えて

'add_value_provider_argument'を使用してランタイムパラメータを初期化する方法は？

は、一例として 'テンプレートの作成' の公式文書を取る： https://cloud.google.com/dataflow/docs/templates/creating-templates class WordcountOptions(PipelineOptions): @classmethod def _add_argparse_args(cls, parser): # Us

1熱

1答えて

Pythonでビームパイプライン（Google Dataflow）をどのようにテストしますか？

Google DataFlow（Apache Beamベース）Python SDKを使用して、私たちのパイプラインをテストする方法を理解しています。 https://beam.apache.org/documentation/pipelines/test-your-pipeline/ https://cloud.google.com/dataflow/pipelines/creating-a-pi

0熱

1答えて

Apache Beamメモリ内ストレージ

私のユースケースは、固定の時間別ウィンドウでデータを処理する制限のないストリーミングパイプラインです。しかし、私は前のウィンドウからデータを知る必要があります。メモリ内のどこかのArrayListにデータを格納する方法はありますか、それともどこかのDBに書き込む必要がありますか？私はスライディングウインドウを避けようとしています。処理の一部だけが前のウィンドウのこのデータを必要とし、できるだけオ

0熱

1答えて

Apache Beamを使用したデータフローバッチロードのパフォーマンスに関する問題

データフローバッチロードのパフォーマンスベンチマークを実行していて、Bigqueryコマンドラインツールの同じロードと比較して負荷が非常に遅いことがわかりました。ファイルサイズは約20 MBで、何百万ものレコードがありました。私はさまざまなマシンタイプを試して、n1-highmem-4で最高のロードパフォーマンスを得ました。これは、ターゲットBQテーブルのロードに約8分かかることがあります。コ

2熱

1答えて

プロパティファイルのApache Beamオプション

Apache Beamパイプラインがデータフローテンプレートとして正常に実行されています。しかし、私はDataflowPipelineOptionsを拡張するオプションクラスを持っています。このクラスは、テンプレートが生成されたときにpomまたはコマンドラインインターフェイスから引数を得ました。プロパティファイルからこれらのパラメータを直接ロードできるように、クラスが存在するかどうかを知りたいで