pandas＆boto3を使用してs3からcsvファイルを読み取っているときにメモリエラーが発生しました。 Pythonのエラー：free（）：無効なポインタ：

Question

pandasを使ってs3から1.5 GBのファイルを読み込もうとしています& boto3 今日、私は36 GBの深いファイルを広いファイル（1.5 GB）にピボットさせなければなりませんでした。 1.5GBのファイルをローカルに書き、pandas.read_csv（）を使ってすべてが正常かどうかを確認しました。それは何の問題もなく読んだ。

しかし、boto3を使用して読み込み中にs3にコピーした後、奇妙なメモリエラーのためにコードエラーが発生します。このコードは通常、300〜1 GBのファイルサイズで正常に動作します。

現在、正確にエラーが発生している箇所を特定できません。私は、同じメモリエラーを読み込み中にs3 &に再度ファイルをコピーしようとしました。 S3から読み取るする

コード：

input_file_obj= s3.get_object(Bucket=bucket, Key=file) 
input_file_content= input_file_obj["Body"].read() 
df=pd.read_csv(io.BytesIO(input_file_content), index_col=None, delimiter=delim,header=hdr,low_memory=False) 

私はそれが私が使用していEC2のマシンで利用可能なRAMの32 GB単位を持っているので、問題になることができませんでしたラムを考えています。また私が取り組んでいるマシンはUnixです。

サンプルエラー：

*** Error in `python': free(): invalid pointer: 0x00007fd70340c3e4 *** 
======= Backtrace: ========= 
/lib64/libc.so.6(+0x7c503)[0x7fd71d737503] 
/home/user/anaconda3/lib/python3.6/site-packages/pandas/_libs/parsers.cpython-36m-x86_64-linux-gnu.so(parser_cleanup+0x1a)[0x7fd70340467a] 

linkエラーログ

Answer 1

あなたがEC2/S3にこのエラーが表示さではなく、ローカルに起因するVMインスタンス上のC環境になることがありますしている理由を完了するためにを使用して。あなたのローカルマシンは、あなたのVMにバンドルされているものよりも、より互換性のあるCセットアップを持つだけかもしれません。

engine='python'またはlow_memory=Trueをread_csv()に設定することを検討してください。 engineとlow_memoryの両方の引数がread_csv()にあると、根底にあるCの実装に関与しているようです。このdiscussionは同様のエラーを特定し、それが問題であることがわかりました。

公正な警告：私はパンダがボンネットの下でCとどのように機能するかについて自信を持って話すには十分に精通していません。 OPのコメントによると、これらのパラメータ値の調整は問題を解決するように思われましたが、私はここでチャイムをするより多くの経験を持つ方を歓迎します。