Google Cloud PlatformでDataflowを使用すると、GCSからCSVファイルを任意の変換を使用しないBigQueryGoogle Cloud PlatformでDataflowを使用すると、変換なしでCSVファイルをGCSからBigQueryに読み込むことができます
.. PythonでDataflowを使用するGCSからBigQueryへの単純な読み込み。はいの場合は、私たちにご連絡ください....
Google Cloud PlatformでDataflowを使用すると、GCSからCSVファイルを任意の変換を使用しないBigQueryGoogle Cloud PlatformでDataflowを使用すると、変換なしでCSVファイルをGCSからBigQueryに読み込むことができます
.. PythonでDataflowを使用するGCSからBigQueryへの単純な読み込み。はいの場合は、私たちにご連絡ください....
残念ながら、これは少なくとも1変換なしではできません。最低限の変換は、CSV(文字列)の1行をPython辞書に変換するか、TableRow
(BigQuery APIから)をBigQuerySink
経由でBigQueryに書き込むために必要です。
また、bq
コマンドラインツールを使用して、CSVをBigQueryにアップロードすることもできます。これははるかに簡単で、cronのようなアプリケーションでスケジュールすることができます。注:このソリューションには、請求の意味が異なります。
bq load --source_format=CSV <destination_table> <data_source_uri> [<table_schema>]
BQコマンドラインツール参照:https://cloud.google.com/bigquery/bq-command-line-tool
Iが関連付けられた列をマージするデータフローを使用してコードを書かれている –
以下のように、私は名前に関連付けられた列をマージするPythonでデータフローを使用してコードを書かれています名前がどういうものか分かりません。正しい方向に私を導くことができます –
データフローを使用して名前に関連する列をマージし、BigQueryに書き込むコードを書いたことがありますが、どうにかして正しくは得られません。方向 –