は、私は、以下のものを使用して、Pythonのパンダでgzip圧縮されたCSVファイルへのデータフレームを記述しようとしています

Question

PythonのパンダにCSVにGZIP圧縮を適用します。

import pandas as pd 
import datetime 
import csv 
import gzip 

# Get data (with previous connection and script variables) 
df = pd.read_sql_query(script, conn) 

# Create today's date, to append to file 
todaysdatestring = str(datetime.datetime.today().strftime('%Y%m%d')) 
print todaysdatestring 

# Create csv with gzip compression 
df.to_csv('foo-%s.csv.gz' % todaysdatestring, 
     sep='|', 
     header=True, 
     index=False, 
     quoting=csv.QUOTE_ALL, 
     compression='gzip', 
     quotechar='"', 
     doublequote=True, 
     line_terminator='\n') 

これは単に「FOO-YYYYMMDD.csvと呼ばれるcsvファイルを作成します.gz '、実際のgzipアーカイブではありません。

また、私はこれを追加しようとしました：

#Turn to_csv statement into a variable 
d = df.to_csv('foo-%s.csv.gz' % todaysdatestring, 
     sep='|', 
     header=True, 
     index=False, 
     quoting=csv.QUOTE_ALL, 
     compression='gzip', 
     quotechar='"', 
     doublequote=True, 
     line_terminator='\n') 

# Write above variable to gzip 
with gzip.open('foo-%s.csv.gz' % todaysdatestring, 'wb') as output: 
    output.write(d) 

としても失敗します。何か案は？あなたはそれのファイル名合格しない場合

Answer 1

はgzipでアーカイブを作成する必要があります。私はあなたと同じキーワード引数を使ってテストしました。

gzipはバージョン0.17.1まで実装されていないため、アップグレードする必要があるかもしれませんが、以前のバージョンで使用しようとしてもエラーは発生せず、通常のcsvが生成されます。 pd.__version__の出力を見れば、現在のパンダのバージョンを知ることができます。

Answer 2

with gzip.open('foo-%s.csv.gz' % todaysdatestring, 'wb') as f: 
    f.write(df.to_csv(sep='|', index=False, quoting=csv.QUOTE_ALL)) 

Answer 3

import gzip 


content = df.to_csv(
     sep='|', 
     header=True, 
     index=False, 
     quoting=csv.QUOTE_ALL, 
     quotechar='"', 
     doublequote=True, 
     line_terminator='\n') 

with gzip.open('foo-%s.csv.gz' % todaysdatestring, 'wb') as f: 
    f.write(content) 

pandasとdocumentation

import gzip 
content = "Lots of content here" 
with gzip.open('file.txt.gz', 'wb') as f: 
    f.write(content) 

からのトリックは、ここでそのto_csv出力テキストであること。その後、そのテキストをgzipのwriteメソッドにリダイレクトするだけです。キーワード引数compression='gzip'でdf.to_csv()を使用して

Answer 4

それはパンダ

import pandas as pd 

書き込み `使用gunzipは圧縮されたCSV

df.to_csv('dfsavename.csv.gz', compression='gzip') 

ディスクから

読む

df = pd.read_csv('dfsavename.csv.gz', compression='gzip')