Azureデータレイクストア - JSONをCSVに変換

Azure DataレイクストアではJSONファイルのサイズが100 GBまでです。それらをCSVファイルに変換して、同じ紺碧のデータレイクストアの別のフォルダに保存する必要があります。利用できるオプションは何ですか？Azureデータレイクストア - JSONをCSVに変換

出典

2017-03-21 venkatesh sivalingam

これにはいくつかの選択肢があります。これは、通常、抽出と出力の2つの単純なプロセスです。

A. これを行うには、ADLA/U-SQLジョブを実行することができます。ここでもう一つの選択肢は、データを変換するHDInsightクラスターを作成することであるU-SQL https://github.com/Azure/usql/tree/master/Examples/DataFormats/Microsoft.Analytics.Samples.Formats

B. でJSON抽出の一例です。お好みのアプリケーションを使用することができます。これはPIGでこれを行う人の例です：https://acadgild.com/blog/converting-json-into-csv-using-pig/

出典

2017-03-21 16:16:24

私はこれをAzure Data Factoryで試しています。ゼロコーディングで簡単です。ソースとシンクは両方ともADLSです。パイプラインで単純に変更するものはありません1対1マッピング。私たちは以下のバッチ・ジョブがパフォーマンスに関する簡単な統計であるため、パフォーマンスには関心がありませんでした。

> Data Read: 42.68 GB Data Written: 12.97 GB Data volume: 42.68 GB Rows: 
> 54520950 Throughput: 3.97 MB/s Billed duration for data movement: 
> 03:03:41

出典

2017-03-26 17:34:58

このページに到着した他の人には本当に便利なように、手順を詳しく説明していただければ幸いです。あなたが使用したソースとシンクの詳細や、パイプラインで特別なことはありましたか？あなたも私たちのように、入力/出力データセットのJSON [この最近の例]（http://stackoverflow.com/questions/39894991/copy-from-onprem-sql-server-to-documentdb-using-customを示すことができましたadfパイプラインでの活動）。また、ADFがどのようにボリュームに対応しているのか、ここに興味があります。再び、何か特別なものが必要でしたか？ – wBob

Azureデータレイクストア - JSONをCSVに変換

答えて

関連する問題