フォルダ内の複数のcsvファイルを開き、列の平均をとって別のファイルに保存するにはどうすればいいですか？

Question

私は非常にPythonで新しく、この1つでいくつかの助けが必要です。私はいろいろなコードを試してみましたが、うまくいきませんので、提案はすばらしいでしょう。

私は、それぞれが複数のデータ列を含む約1500のcsvファイルを含むフォルダを持っています。私は "agr"と呼ばれる最初の列の平均を取って、この値を別のExcelまたはCSVファイルに保存する必要があります。ファイルの名前を保存して平均値を保存することができれば、ファイルがどのファイルから来たのかを把握することができれば嬉しいです。ファイルの名前はcrop_cityです（例：corn_omaha）。

import glob 
import csv 
import numpy as np 
import pandas as pd 


path = ('C:/test/*.csv') 

for fname in glob.glob(path): 
    with open(fname) as csvfile: 
     agr = [] 
     reader = csv.DictReader(fname) 
     print row['agr'] 

私は上記のコードは非常に初歩的なことを知っているので、任意の助けは偉大なおかげでみんなだろう！

Answer 1

、私はあなたが最初の列を追加しているという事実に依存することによって、あなたのコードを制限するために、あなたに助言しません。来週第3列で作業する必要がある場合はどうすればいいですか？あなたが提供するコードを基にして、これを適切に行うのは簡単です。何千ものテキストファイルを解析することは、あなたを遅らせるものではありません。

csv.DictReaderコンストラクタは、入力の最初の行をヘッダとして自動的に処理します（fieldnamesパラメータで列名のリストを明示的に指定しない限り）。だからあなたのコードは次のようになります。

import csv 
import glob 

averages = [] 
for fname in glob.glob(path): 
    with open(fname, "rb") as csvfile: 
     reader = csv.DictReader(csvfile) 
     values = [ float(row["agr"]) for row in reader ] 
     avg = sum(values)/len(values) 
     averages.append((fname, avg)) 

リストaveragesは今、あなたがしたい番号が含まれています。これは別のCSVファイルに書き出す方法です：

PS。あなたの輸入品にpandasを含めたので、パンダで同じことをする1つの方法があります。しかし、今のところはcsvとすることをお勧めします。 pandasオブジェクトモデルは複雑で、頭を包むのは難しいです。

averages = [] 
for fname in glob.glob(path): 
    data = pd.DataFrame.from_csv(fname) 
    averages.append((fname, data["agr"].mean())) 

df_out = pd.DataFrame.from_records(averages, columns=["File", "Average agr"]) 
df_out.to_csv("averages.csv", index=False) 

ファイルの入出力と計算は1つのステートメントで行うことができるので、コードはかなり短くなります。

Answer 2

これらのCSVファイルの最初の列が10進数または浮動小数点数であると仮定すると、実際には行全体を解析する必要はありません。最初のセパレータで分割し、最初のトークンを解析します。 numpyまたはpandasには実質的な利点はありません。組み込みのsum機能を使用してください。 @tdelaneyによって答えに反し

import glob 
import os 

path = ('test/*.csv') # using local dir for test 
outfile.write("Filename,Sum\r\n") # header for output 
with open('output.csv', 'w', newline='') as outfile: 
    for fname in glob.glob(path): 
     with open(fname) as csvfile: 
      next(csvfile) # skip header 
      outfile.writelines("{},{}\r\n".format(os.path.basename(fname), 
       sum(float(line.split(',', 1)[0].strip()) 
       for line in csvfile)))