JSONを直接tarファイルにダンプする

Question

私はdictオブジェクトの大きなリストを持っています。このリストをtarファイルに保存して、リモートで交換したいと思います。私は、 'w：gz'モードで開いたtarfileオブジェクトにjson.dumps（）文字列を書き込むことで成功しました。

「w | gz」モードでtarfileオブジェクトを開くと、パイプで実装しようとしています。これまでのコードはこれまで通りです：

from json import dump 
from io import StringIO 
import tarfile 

with StringIO() as out_stream, tarfile.open(filename, 'w|gz', out_stream) as tar_file: 
    for packet in json_io_format(data): 
     dump(packet, out_stream) 

このコードは関数 'write_data'にあります。 'json_io_format'は、データセットから一度に1つのdictオブジェクトを返すジェネレータです（パケットはdictです）。ここで

は私のエラーです：コメントから助けを借りて、いくつかのトラブルシューティングの後

Traceback (most recent call last): 
    File "pdml_parser.py", line 35, in write_data 
    dump(packet, out_stream) 
    File "/.../anaconda3/lib/python3.5/tarfile.py", line 2397, in __exit__ 
    self.close() 
    File "/.../anaconda3/lib/python3.5/tarfile.py", line 1733, in close 
    self.fileobj.close() 
    File "/.../anaconda3/lib/python3.5/tarfile.py", line 459, in close 
    self.fileobj.write(self.buf) 
TypeError: string argument expected, got 'bytes' 

、エラーがときのステートメントが終了「と」引き起こし、およびコンテキストマネージャの__exit__を呼び出そうとしています。 I BELIEVEこれは次にTarFile.close（）を呼び出します。私は声明「と」からtarfile.open（）の呼び出しを削除し、意図的TarFile.close（）省略した場合、私はこのコードを取得する：

with StringIO() as out_stream: 
    tarfile.open(filename, 'w|gz', out_stream) as tar_file: 
    for packet in json_io_format(data): 
     dump(packet, out_stream) 

プログラムのこのバージョンが完了するのではなく、出力ファイル「filname」を生成し、このエラーを得られます。

Exception ignored in: <bound method _Stream.__del__ of <targile._Stream object at 0x7fca7a352b00>> 
Traceback (most recent call last): 
    File "/.../anaconda3/lib/python3.5/tarfile.py", line 411, in __del__ 
    self.close() 
    File "/.../anaconda3/lib/python3.5/tarfile.py", line 459, in close 
    self.fileobj.write(self.buf) 
TypeError: string argument expected, got 'bytes' 

私はそれがガベージコレクタによって引き起こされると考えています。何かがTarFileオブジェクトが閉じないようにしています。

誰でも私がここで何が起こっているのか理解できますか？

Answer 1

なぜあなたはStringIOにtarファイルを書き込むことができると思いますか？あなたがそう思っているようには動作しません。

このアプローチではエラーは発生しませんが、メモリ内のオブジェクトからメモリにtarfileを作成する方法は実際にはありません。

from json import dumps                
from io import BytesIO              
import tarfile                  

data = [{'foo': 'bar'},                
     {'cheese': None},                
     ]                    

filename = 'fnord'                 
with BytesIO() as out_stream, tarfile.open(filename, 'w|gz', out_stream) as tar_file: 
    for packet in data:                
     out_stream.write(dumps(packet).encode())