いくつかのフィールドがネストされる必要がある場合、フラットCSVをJSONに変換します。

Question

50個のカラムを持つフラットCSVファイル（名前はファーストネーム、ラストネーム、アドレスなどとしましょう）は、タブ区切りですべてのフィールドを囲んでいます。

これをJSONファイルに変換する必要がありますが、いくつかのCSV列をネストされたフィールドに変換する必要があります。ネストされたフィールドには、列の行の値を除き、値（これは必須フィールドを持つAPI用です）。ネストされたフィールドになる必要がある列を事前に知っています。

FirstName LastName Address 
John   Doe   21 Python Street 

これで希望JSON出力：

{ 
    "FirstName": "John", 
    "LastName": "Doe", 
    "Shipping Details": [ 
    { 
    "Generic Field 1": "Generic Value 1", 
    "Generic Field 2": "Generic Value 2", 
    "Address": "21 Python Street" 
    } 
    ] 
} 

ので、簡単のため、のは、これはCSVファイルの最初の3列の最初の行の構造であるとしましょう

50列の完全なCSVでは、これらの余分な汎用値を使って、ネストされたフィールドを解析するのに必要な列がさらにいくつかあります。

これを行うにはどうすればよいですか？

Answer 1

DictReaderを使用し、Shipping Detailsを追加してAddressを削除して行を操作します。

j = [] 

with open("/tmp/so.csv") as f: 
    reader = csv.DictReader(f, delimiter="\t") 
    for row in reader: 
     # Add 'Shipping Details' to row. 
     # Note that something like this will have to be done 
     # for *every* column you want to change. 
     row["Shipping Details"] = { 
      "Generic Field 1": "Generic Value 1", 
      "Generic Field 2": "Generic Value 2", 
      "Address": row["Address"]} 

     # We don't need the 'Address' anymore. 
     del(row["Address"]) 

     # Collect the changed row in the list of rows. 
     j.append(row) 
print(json.dumps(j)) 

出力（糸くずの後）：あなただけに持って、その後

def nested_key(row,key_to_swap, pre_filled_dict): 
    pre_filled_dict[key_to_swap]=row[key_to_swap] 
    row[key_to_swap]=pre_filled_dict[key_to_swap] 

：

[{ 
    "LastName": "Doe", 
    "Shipping Details": { 
     "Address": "21 Python Street", 
     "Generic Field 1": "Generic Value 1", 
     "Generic Field 2": "Generic Value 2" 
    }, 
    "FirstName": "John" 
}] 

Answer 2

が@FullNameの答えを継続するには、多分あなたは新しいキーcreats機能を持たせることができますpre_filled_dictを作成します。つまり、

pre_filled_adsress={ 
      "Generic Field 1": "Generic Value 1", 
      "Generic Field 2": "Generic Value 2"} 

とループのために：

for row in reader: 
    nested_key(row,"Address",pre_filled_address) 
    nested_key(row,"2nd_nested_key",second_dict) 

私はこれが必要になるかわからない、私はあなたが持っているどのように多くのものを価値の分かりません。

Answer 3

ネストされたdictsを持つ列を定義する辞書を作成し、その列の値を移入するために使用することができます。カスタマイズを単一の統合された場所に保つことで、読み込み/保守が容易になり、他のcsv形式への移植が容易になります。

import copy 

CSV_CONFIG = { 
    2: { 
     # Column 3 (zero-based index 2) 
     "name": "Shipping Details", 
     "Generic Field 1": "Generic Value 1", 
     "Generic Field 2": "Generic Value 2", 
     }, 
    3: { 
     # Column 4 (zero-based index 3) 
     "name": "Personage", 
     "Generic Field 3": "Generic Value 3", 
     "Generic Field 4": "Generic Value 4", 
     }, 
} 

今、あなたは異なっCSV_CONFIG複数のネストされた列を表示するために追加"personage"列でデータを考えると

data = [] 
with open(file, "r") as fh: 
    col_names = fh.readline().strip().split(",") 

    for line in fh.readlines(): 
     line_data = {} 
     cols = line.strip().split(",") 
     for i in range(len(cols)): 
      if i not in CSV_CONFIG: 
       #this is not a nested column 
       line_data[col_names[i]] = cols[i] 
      else: 
       #this column is nested 
       nested_dict = copy.deepcopy(CSV_CONFIG[i]) 
       nested_dict[col_names[i]] = cols[i] 
       del nested_dict["name"] 
       line_data[CSV_CONFIG[i]["name"]] = nested_dict 
     data.append(line_data) 

に何があるかに基づいてdataを投入、dataは今

[{ 
    'FirstName': 'John', 
    'LastName': 'Doe', 
    'Personage': { 
     'Generic Field 3': 'Generic Value 3', 
     'Generic Field 4': 'Generic Value 4', 
     'Vitality': 'Alive' 
    }, 
    'Shipping Details': { 
     'Address': '21 Pytohn Street', 
     'Generic Field 1': 'Generic Value 1', 
     'Generic Field 2': 'Generic Value 2' 
    } 
}, { 
    'FirstName': 'Elvis', 
    'LastName': 'Presley', 
    'Personage': { 
     'Generic Field 3': 'Generic Value 3', 
     'Generic Field 4': 'Generic Value 4', 
     'Vitality': 'Deceased' 
    }, 
    'Shipping Details': { 
     'Address': 'Elvis Presley Blvd', 
     'Generic Field 1': 'Generic Value 1', 
     'Generic Field 2': 'Generic Value 2' 
    } 
}]