大規模なcsvファイルをリストまたはnumpy配列のPythonでロードする

大きなcsvファイル（約1.2GBを hereから）をnumpyの配列またはリストにロードできませんでしたが、Pythonでロードできませんでした。退出はありますか？大規模なcsvファイルをリストまたはnumpy配列のPythonでロードする

であなたのお役に立てば幸いです[ここ]（https://docs.scipy.org/ doc/scipy/reference/generated/scipy.io.loadmat.html）これを試しましたか？うまくいきましたか？ –

このファイルの内容はどのようなものですか？そのファイルで何をするつもりですか？ – hpaulj

@hpauljその形の81011 * 4096とすべての浮動小数点数を持つcsvファイル –

ここに私の論理があります。一度に1行しか読み込まれず、次の行が読み込まれているときは、別の場所で参照として保存しない限り、前の行がガベージコレクトされます。最近のPythonバージョンではコンテキストマネージャを使用することもできます。

with open("Large_size_filename") as infile: 
    for line in infile: 
    do_something_with(line)

が、それはあなたがマットのファイルをアップロードするために使用することができますnumpyの中の何かが、そこにあるリンク先のページには理解

2016-12-09 06:13:11

私は実際には全体のデータのグラフをプロットしたいので、numpy配列またはpythonリストにファイル全体をロードしたいと思います。そこには方法がありますか？ –

答えて