google-cloud-dataflow

0熱

1答えて

Is it possible to use a Custom machine for Dataflow instances?によると、あなたはcustom-<number of cpus>-<memory in mb> として名を指定することにより、データフロー操作用のカスタムマシン・タイプを設定することができますが、その答えは、Java APIと古いデータフローバージョン、ではないためであります

0熱

1答えて

ノードを持つgcloudでデータフローAPIに対して簡単なHTTPリクエストを実行するにはどうすればよいですか？

私はデータフロージョブをアプリケーションで監視したいと考えています。私が開発しているアプリケーションはnodejsアプリケーションで、理想的には@google-cloud/bigqueryのようなパッケージが存在しますが、代わりにdataflowのパッケージが存在します。私はそれがテンプレートジョブではない場合、私は仕事を開始することができないかもしれないことを完全に認識していますが、それはジョブ

0熱

1答えて

csvファイルを読み、BigQueryのテーブルにデータを記入

は次のBigQueryをcsvファイルから読み込み、別のcsvファイルとに書き込むことになっているコードです： import argparse import logging import re import apache_beam as beam from apache_beam.io import ReadFromText from apache_beam.io import Writ

0熱

1答えて

Google Cloud DataflowでDirectPipelineRunnerを使用せずにローカルに読み書きする

DirectPipelineRunnerを使用せずにローカルでデータを読み書きすることはできますか？クラウド上にデータフローテンプレートを作成し、ローカルデータを読みたいとします。これは可能ですか？おかげで..

0熱

1答えて

Apacheのビームでストリーミングで空のペイン/ウィンドウを強制

私は、パイプラインを実装しようと存在しない場合は任意の要素は、分間隔またはFalseに存在する場合、データのストリームとすべての分の出力に真を取りいます。持続時間の要素がない場合は、ウィンドウ（永久時間トリガー付き）またはウィンドウ（固定ウィンドウ）はトリガーしていないようです。私は考えてい回避策の一つは、グローバルウィンドウにストリームを置き、データと試験へのトリガキューとしてタイマーを蓄積す

0熱

1答えて

クラウドPubsubからDatastoreへのデータフローパイプライン

クラウドPubsubトピックからクラウドデータストアに収集されたデータをストリームするために、データフローパイプラインを作成して展開しようとしています。しかし、私は次のようにエラーに陥っています。シンボルシンボルが見つかりません：変数DatastoreIO場所：クラスDataUpload 関連パッケージをインポートするために、以下のドキュメントを読み進めている間に間違っていることを理解していませ

4熱

2答えて

googleクラウドデータフローの依存関係のためにドッカーを使用

Google Cloud Dataflowを使用してプロセスビデオを並列化することに興味があります。私の仕事はOpenCVとテンソルフローの両方を使います。それはむしろ説明するように、ソースからのすべての依存関係をインストールするよりも、単にドッキングウィンドウインスタンス内の労働者を実行することが可能です： https://cloud.google.com/dataflow/pipelines/

3熱

1答えて

apacheのビームBigtableの反復処理可能な突然変異

私は梁2.0に私のGoogleのデータフローのJava 1.9を移行していると私は私がしようと苦労してるBigtableIO前パルドではBigtableIO.Write .... .apply("", BigtableIO.write() .withBigtableOptions(bigtableOptions) .withTableId("twoSecondVi

3熱

1答えて

Pythonでbigqueryリーダー経由で行を読み込み中にAssertErrorを発生するGoogle Cloud Dataflow

私は、ビッグクエリを使用してデータをクエリするためにpythonデータフローを使用しているように見えます。 bqクエリがゼロの行を返すときに、アサーションエラーが発生しました。&アサーションエラーが以下に示されています。私はこれがバグか、おそらく、pyデータフローのbqリーダーからゼロ行を処理するための推奨される方法があるのだろうかと思いますか？データフロースクリプト： from apache_

0熱

1答えて

ビッグクエリーのための大量のデータ読み込み中のビーム処理失敗

私は最近Apacheビームで開始しました。私はここで何かを逃していると確信しています。私は非常に巨大なデータベースからbigqueryにロードする必要があります。これらのテーブルは巨大です。単純なテーブルから最小限の行をロードするサンプルビームジョブを作成しました。 JDBCIOを使用してテーブルからn個の行をロードするにはどうすればよいですか？とにかく、従来のデータ移行ジョブと同じように、これら