0
私は最近Apacheビームで開始しました。私はここで何かを逃していると確信しています。私は非常に巨大なデータベースからbigqueryにロードする必要があります。これらのテーブルは巨大です。単純なテーブルから最小限の行をロードするサンプルビームジョブを作成しました。ビッグクエリーのための大量のデータ読み込み中のビーム処理失敗
- JDBCIOを使用してテーブルからn個の行をロードするにはどうすればよいですか？とにかく、従来のデータ移行ジョブと同じように、これらのデータをバッチで読み込むことができますか？
データベースからバッチ・リードを実行し、bigqueryにバッチを書き込むことはできますか？
また、データをbigqueryにロードする方法として、ファイルをデータストアのバケットに追加する方法があります。しかし、自動化された環境では、DBからロードしてbigqueryに書き込むためのデータフロージョブとして記述する必要があります。私のデザインはApacheのビームを使ってこの問題を解決するためにどのようにアプローチすべきですか？
助けてください！