BIGQUERY - bq loadは解析できません

Question

最近、私は私の会社のBigQueryで作業を始めました。私たちはAWS Redshiftデータベースを使用していましたので、私は012へのUNLOADをPIPEとフィールドデリミタとgsutilでGCSに送信しました。

私はBQに読み込みを開始しましたが、一部のテーブルでは動作しません。ログを参照してください：

bq load --project_id = movile-di --field_delimiter = "|" --schema = mte.json --allow_quoted_newlines = true --allow_jagged_rows = true --ignore_unknown_values = true --max_bad_records = 100 corp.mte_201301 gs：// movile-di/telecom/atlas/dynamic/2013/01/mte は、ロード操作でBigQueryのエラーをDONE：エラー処理ジョブ 'はmovileジ：bqjob_r333c660745fe8874_00000156c36e9a5e_1'：発生したエラーの数が多すぎ /* bqjob_r333c660745fe8874_00000156c36e9a5e_1 ...（0）現在のステータスに待っています。失敗の詳細： - gs：//movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz： '2500'、 "key"を解析できませんでした： "MOV_PK_MOVILE_ATLASSENDMESSAGE"} ' int フィールドbilling_share_content_partner_share（位置17）の開始 の位置1596 - gs：//movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz： '100001'を解析できませんでした。 、 "キー"： "MOV_PK_MOVILE_ATLASSENDMESSAGE"} 'として フィールドbilling_share_content_partner_share（位置17） 位置2060から開始 - gs：//movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv .0000.gz： " - "、 "キー"を解析できませんでした： "MOV_PK_MOVILE_ATLASSENDMESSAGE"} 'を フィールドbilling_share_content_partner_share（位置17）に開始 場所2929 - gs：//movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz： ' - "、" key "：" MOV_PK_MOVILE_ATLASSENDMESSAGE "}'をパーズできませんでした フィールドbilling_share_content_partner_share（位置17） の位置4413 - gs：//movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz： ' - "、" keyを解析できませんでした"：" MOV_PK_MOVILE_ATLASSENDMESSAGE "}このテーブルの位置5289

で を開始フィールドbilling_share_content_partner_share（位置17）のための intとして私はJSONなどのフィールドを有しています。私はbqのロードはfield_delimiterを理解できず、私にエラーを与えたと思います。

誰かが私を助けることができますか？私は知っているすべてを試しましたが、それでも動作しません。

Answer 1

は、このためにただ一つのフィールド でCSVであるかのように、フィールド区切り文字は、それは確かに負荷が完了したら、あなたがの力を持っているファイル
のどこにも存在しないことを選択する必要があり、あなたのファイルをロードしてくださいBigQuery（レガシーまたは標準SQLモード）を使用して、BigQueryで必要な方法で解析します。もちろん、それはあなたの実際のスキーマに依存することができます - しかし、多くの場合、それは助けになりました！
JSON functionsとUDF for Legacy SQLとScalar UDF for Standard SQLは、このような場合の解析に最も便利なツールです。