インポートされたcsvsからのパンダデータフレームの再帰的なマージ

Question

私は同様の質問が尋ねられ応答したのを見ました。しかし、私の特定のニーズに答える答えはありません。

私のニーズに合わせて調整した次のコードは、ファイルと関連する列を正常にインポートします。ただし、dfに行を追加し、キーに基づいてこれらの列をマージしません。

import glob 
import pandas as pd 
import os 

path = r'./csv_weather_data'    
all_files = glob.glob(os.path.join(path, "*.csv")) 
df = pd.concat(pd.read_csv(f, skiprows=47, skipinitialspace=True, usecols=['Year','Month','Day','Hour','DBT'],) for f in all_files) 

典型的なデータ構造は以下の通りです：

Year  Month  Day  Hour  DBT 
1989  1   1  0  7.8 
1989  1   1  100  8.6 
1989  1   1  200  9.2 

私は次のことを達成したいと思います：

1. 輸入

dfをパンダにフォルダに含まれるすべてのCSVファイル

2. 最初の4列をdatetime値の1列にマージする

3. インポートされたcsvをマージし、新しく作成したdatetime値をインデックスとして使用し、DBT列をインポートします。各DBT列はインポートされたcsvの名前です（天気ファイルの乾球温度DBT） 。

アドバイスはありますか？

Answer 1

次の2つの手順で問題を分割する必要があります

まず、あなたのインポート機能を定義します。ここではdatetimeを定義する必要があり、setはインデックスとして使用されます。

def my_import(f): 

    df = pd.read_csv(f, skiprows=47, skipinitialspace=True, usecols=['Year','Month','Day','Hour','DBT'],) 

    df.loc[:, 'Date'] = pd.to_datetime(df.apply(lambda x : str(int(x['Year']))+str(int(x['Month']))+str(int(x['Day']))+str(int(x['Hour'])), axis = 1), format = '%Y%m%d%H') 
    df.drop(['Year', 'Month', 'Day', 'Hour'], axis = 1, inplace = True) 
    df.set_index('Date') 
    return df 

は、その後、あなたが列によって連結（軸= 1）

df = pd.concat({f : my_import(f) for f in all_files}, axis = 1)