google-cloud-dataflow

1熱

1答えて

クラウドストレージ上のJSONファイルからデータストアへのデータフローパイプラインの作成方法

GCPの新機能で、次の点に関する助けが必要でした。 .jsonファイルをクラウドストレージにアップロードしていて、解析のためにデータをクラウドデータストアに移動する必要があります。 /クエリ。大きなデータセットがネイティブにインポートするには時間がかかりすぎる可能性があるので、データフローを使用して変換して読み込むのは興味深いと思います。アイデアや助けをいただければ幸いです。

0熱

1答えて

アパッチビーム2.2 pipeline.applyそのような方法の例外

public static void main(String[] args) { //Pipeline p = Pipeline.create(PipelineOptionsFactory.fromArgs(args).withValidation().create()); DataflowPipelineOptions options = PipelineOption

1熱

1答えて

FileBasedSourceはGoogle Cloud Storageのいくつかの特定のファイルに対応するグロブを理解できません

Google Cloud Storageに保存されたカスタマイズされたバイナリファイルをデータフロージョブで処理する必要があります。これを行うには、私はカスタムFileBasedSourceを書きました。ドキュメントに記載されているように、は、Javaグロブ、単一ファイル、または1つのファイルのオフセット範囲として定義されたファイルパターンでバックアップされています。私の場合、私は、/path

0熱

1答えて

Apache beam Dataflow SDKエラー（例：

）私はビームgoogleのdataflowパイプラインの例の1つを試していますが、MapElementsとメソッドの例外であるSingleFunction/SerializableFunctionが呼び出されています。コードスニペットで次のメソッドへ static class ParseTableRowJson extends SimpleFunction<String, TableRow> {

0熱

1答えて

Apache beam：複数のサブスクリプションから読み取る

複数のサブスクリプションをリッスンしてBigQueryに書き込むデータフローを作成したいとします。 Googleのdocumentationによれば、複数のPCollectionオブジェクトを読んで組み合わせることができます。しかし、PubsubIO.Readのjavadoc hereを見ると、は、Stringの1つだけを受け入れるようです。複数のサブスクリプションから読み取るには、subscr

0熱

1答えて

データフローでValueProvider <String>オブジェクトの値をSTRING形式で取得できますか

データフローでジョブを実行するにはTemplateを使用しています。データフローコードでファイルパスを引数としてファイルパスを渡して、STRING形式でファイルパスを取得します。 options.getInputFile（）。toString実際のファイルパスではなく、オブジェクトを出力します。誰かお手伝いできますか？ Using ValueProvider in your functionsで

1熱

1答えて

ログエクスポートでpubsubペイロードをLogEntryオブジェクトに変換する方法

pubサブトピックへのログエクスポートを有効にしました。私はこれらのログを処理し、関連する列をBigQueryに格納するためにデータフローを使用しています。誰かがLogEntryオブジェクトにpubsubメッセージのペイロードの変換を助けてもらえますか？私は次のコードを試してみました： @ProcessElement public void processElement(ProcessCont

0熱

1答えて

エラーメッセージでデータフローが停止しました原因：606330f83ab24c58

dataflowジョブにエラーメッセージが表示されました。私は自分の仕事を開始するのに2.1.0 SDKとcloudhellを使用しています。（606330f83ab2470f）：ワークフローに失敗しました。原因：（606330f83ab24c58）：データフローが停止しているようです。データフローチームhttp://stackoverflow.com/questions/tagged/go

0熱

1答えて

Apache Beam Dataflow： 'NoneType'オブジェクトには 'parts'属性がありません

私はパイプラインを作成してpubsubからストリームを読み込み、apache beamでgoogle cloudデータフローを使用してbigqueryに書き込みます。私はこのコードを持っている： import apache_beam as beam from apache_beam.transforms.window import FixedWindows topic = 'project

0熱

1答えて

Dataflow Shuffleサービスを有効にするには？

私はDataflow Shuffle serviceをPython環境で使用しようとしていますが、シャッフルサービスが機能していないようです。 Iは2.1より上SDKのバージョンを設定し、領域がus-central1あります。実験オプションを追加するだけでデータフローシャッフルサービスを有効にできると思ったのですが、何か不足していますか？後、あなたが現象を再現することができ、私がテストしたコー