spotify-scio

0熱

1答えて

Cloud BigtableにアクセスするためにScala API for Cloud Dataflowを提供するサードパーティのScioクライアントライブラリがあります。ですから、このプロセスではGCPでScala APIを設定できません。助けてください。リンク：https://cloud.google.com/bigtable/docs/third-party-clients

0熱

2答えて

Scio：コレクションソースとしてPub/Subを使用しているときにgroupByKeyが機能しない

WindowsWordCount exampleプログラムのソースをテキストファイルからクラウドPub/Subに変更しました。シェイクスピアファイルのデータをPub/Subに公開しましたが、これは正しくフェッチされましたが、.groupByKey以降の変換は動作していません。 sc.pubsubSubscription[String](psSubscription) .withFixed

0熱

1答えて

Spotify ScioでXMLファイルを処理する（Apacheのビーム用のスケーララッパー）

Apache beam java sdkは、大きなXML入力ファイルの読み込みをorg.apache.beam.sdk.io.xml.XmlIO（2.1.0バージョンを見て）でサポートしています。 Scioで同じことをすることができますか、または例があれば誰でも知っていますか？私は処理したい非常に大きなxmlファイルのセットを持っています。

0熱

1答えて

Scalaマクロ：変数に割り当てられた文字列リテラルが一致しません

SpotifyのScioライブラリのマクロ注釈を使用しています。私はString型の変数を定義し、このように注釈を付けたいと思います： val schemaString = """schema here""" @BigQueryType.fromSchema(outputString) class BigQuery 私が直接Stringに注釈を付ける場合、これは、しかし、コンパイルされません

4熱

1答えて

データフローによってAfterProcessingTime.pastFirstElementInPane（）がどのように動作しますか？

データフローのストリーミングの世界。私が言う私の理解では： Window.into(FixedWindows.of(Duration.standardHours(1))) .triggering(AfterProcessingTime.pastFirstElementInPane() .plusDelayOf(Duration.standardMinutes(15))

2熱

1答えて

Google Pub/Sub to Dataflow、レコードIDと重複しないようにする

Pub/Subからイベントを読み取り、BigQueryに書き込むStreaming Dataflowジョブを作成しようとしています。レコードIDが使用されている場合のドキュメントによると、データフローは、重複メッセージの配信を検出することができますが（参照：https://cloud.google.com/dataflow/model/pubsub-io#using-record-ids）をし

0熱

1答えて

Google Cloud Dataflowでファイルを順番に読み込みます。

StackdriverからGoogle Cloud Storageにエクスポートされたログを読むにはSpotify Scioを使用しています。 JSONファイルです。各行は単一のエントリです。ワーカーのログを見ると、ファイルが複数のまとまりに分割されているように見えます。この場合、私はすでに仕事を1人の労働者に制限しています。これらのチャンクを強制的に読み込んで処理する方法はありますか？一例として