apache-beam-io

2熱

2答えて

Apache Beam BigQueryIOを使用して日付パーティションテーブルを作成する方法はありますか？つまり、まだ作成されていないテーブルにパーティションデコレータを使用する方法はありますか？最初にテーブルを作成してからコード内でパーティションデコレータを使用できますが、動的にフィールドのフィールドからTableDestinationを決定するため、これらのテーブルを事前に作成することはで

2熱

1答えて

非常に多数のファイルを読み込むときに、TextIOまたはAvroIOのパフォーマンスを向上させるにはどうすればよいですか？

TextIO.read()とAvroIO.read()（他のBeam IOと同様）は、デフォルトでは、現在のApache Beamランナーで非常に多くのファイル（たとえば1Mファイル）に展開されるファイルパターンを読むときにはあまりうまく機能しません。このように多数のファイルを効率的に読み取るにはどうすればよいですか？あなたはfilepatternがTextIOまたはAvroIOが多数のファイル

0熱

1答えて

Apache Beam throw can not setCoder（null）：java

私はApache Beamを初めて使用しており、mysqlデータベースのGoogle Cloudインスタンスに接続しようとしています。以下のコードスニペットを実行すると、以下の例外がスローされます。スレッド "メイン" java.lang.IllegalArgumentExceptionがで Logger logger = LoggerFactory.getLogger(GoogleSQLPipe

0熱

1答えて

モジュールオブジェクトに属性がありません。BigqueryV2 - ローカルApache Beam

Apache Beamでローカルにパイプラインを実行しようとしていますが、Google BigQueryのI/O APIを使用しています。私はVirtualenvを使って自分の環境をBeam Python quickstartのように解決し、wordcount.pyの例を実行できます。 beam.Createとbeam.ParDoでカスタムパイプラインを正しく実行することもできます。しかし、B

0熱

2答えて

google sqlインスタンスにアクセスするデータフローでビームクラスを実行するにはどうすればよいですか？

ローカルマシンからパイプラインを実行すると、クラウドSQLインスタンスにあるテーブルを更新できます。しかし、DataflowRunnerを使ってこれを動かすと、同じことが以下の例外で失敗します。私のEclipseから接続するには、 .create("com.mysql.jdbc.Driver", "jdbc:mysql://<ip of sql instance > :3306/mydb")とい

3熱

1答えて

apacheのビームBigtableの反復処理可能な突然変異

私は梁2.0に私のGoogleのデータフローのJava 1.9を移行していると私は私がしようと苦労してるBigtableIO前パルドではBigtableIO.Write .... .apply("", BigtableIO.write() .withBigtableOptions(bigtableOptions) .withTableId("twoSecondVi

1熱

1答えて

なぜBigtableIOはGroupBy/Combine DoFnの後にレコードを1つずつ書き込むのですか？

誰かがBigtableIO内でどのようにバンドルが動作しているのか分かっていますか？いずれも、GroupByまたはCombineのDoFnを使用するまでは問題ありません。この時点で、パイプラインはPCollection要素の枠をPaneInfo.NO_FIRINGからPaneInfo{isFirst=true, isLast=true, timing=ON_TIME, index=0, onTim

1熱

2答えて

Dataflow-BigTableコネクタでインクリメントがサポートされないのはなぜですか？

Streamingモードでは、インクリメント操作が必要なパイプライン（#items finished processing）からBigTableのカウンタを追跡したい場合があります。 https://cloud.google.com/bigtable/docs/dataflow-hbaseを見ると、HBase APIの追加/増分操作がこのクライアントでサポートされていないことがわかりました。理由は

2熱

2答えて

BeamパイプラインでBigQueryスキーマをプログラムで生成する

同種のディクテーションのコレクションがありますが、スキーマを知らなくてもBigQueryに書き込むにはどうすればよいですか？ BigQuerySinkでは、スキーマの作成時にスキーマを指定する必要があります。しかし、私はスキーマを知らない：それは私が書こうとしている辞書のキーによって定義されている。私のパイプラインにスキーマを推論させ、それをシンクに戻す方法がありますか？例えば： # Crea

1熱

2答えて

Apache Beamを使ってHiveからどのように読むのですか？

Apache Beamを使ってHiveを読み込む方法/ Apache BeamのソースとしてHiveを使用する方法は？