apache-beam

    0

    2答えて

    私はApacheのビームに新しいですが、私はgithubのから最新のソースコードをダウンロードして、パスの下ランナーモジュールをコンパイル:コマンドで ../beam/runners :MVNパッケージと、それはこのような例外出力します enter image description hereを Apache Beam :: Runners :: Core Construction Java ..

    0

    1答えて

    私はデータ解析用のPythonコードを持っており、Apache Beam Java SDKで書かれたはるかに大きなパイプラインに埋め込みたいと思っています。 私はPython SDKもあることを知っていますが、私はそれらをどのように組み合わせるか分かりません。 どうすればできますか?

    0

    2答えて

    私はApache Beamを数日間使っています。私は作業中のアプリケーションを迅速に反復し、私が構築しているパイプラインにエラーがないことを確認したかったのです。火花ではsc.paralleliseを使用することができ、何らかのアクションを適用するときには、検査できる値が得られます。 は同様に私は、Apacheビームについて読んでいたとき、私は私が実際にコンソールに結果を印刷したかった私たちはPC

    0

    1答えて

    Apache beam java sdkは、大きなXML入力ファイルの読み込みをorg.apache.beam.sdk.io.xml.XmlIO(2.1.0バージョンを見て)でサポートしています。 Scioで同じことをすることができますか、または例があれば誰でも知っていますか?私は処理したい非常に大きなxmlファイルのセットを持っています。

    0

    2答えて

    Google Dataflow Serviceを使用してETL用のApacheビームスクリプトを実行しています。 ジョブは最初は完了するのに4〜5分かかっていましたが、1時間後にエラーが発生して失敗しました。 ワークフローに失敗しました。原因:(35af2d4d3e5569e4):データフローが滞っているようです。 実際にジョブが開始されなかったようです。 私はpython SDK 2.1.0を使

    0

    1答えて

    シンクとしてBigQueryテーブルを持つパイプラインがあります。 BigQueryにデータが書き込まれた後、いくつかのステップを正確に実行する必要があります。これらのステップには、そのテーブルに対してクエリを実行し、そこからデータを読み取り、別のテーブルに書き込むことが含まれます。 上記の達成方法は?私は後者のために別のパイプラインを作成する必要がありますが、最初のパイプラインの後にそれを呼び出

    0

    1答えて

    私はApache BeamバージョンのDataflowを使用していますが、ジェネリッククラスを出力するPTransformを作成しようとすると、現在問題が発生しています。このような変換の最小の例があります。これは単に型を繰り返し出力します。 public class BadTransform extends PTransform<PCollection<Result>, PCollect

    0

    2答えて

    私はエンドポイントを介してGoogleのデータフローテンプレートをトリガーしています。今、これらのエンドポイントを介してデータフローテンプレートにいくらかの入力を渡したいと思います。これらの入力は、たとえば、出力ファイルの名前などのカスタムです。私はvalueProvidersの周りにいた、これらのコンテキストでこれらの助けになるだろうか?

    0

    1答えて

    私はGoogleのスパナーデータベースからテーブルを読み込み、それをテキストファイルに書き込んで、Googleのdataflowをpython SDKで使用してバックアップしようとしています。 from __future__ import absolute_import import argparse import itertools import logging import re

    1

    1答えて

    私の使用例は単純です:Pub/Subサブスクリプションからイベントログを読み込み、解析してBigQueryに保存します。イベントの数が大幅に増え、無制限のデータソースで作業するため、BigQueryでシャーディングを設定することにしました。イベントデータからのタイムスタンプ(Beamドキュメントの「イベント時刻」と呼ばれる)に基づいて、 。 私が持っている質問は私のケースではウィンドウ構成を構成す