Python Pandas to_csvには最大行数がありますか？

テキストファイルをcsvにエクスポートしようとしています。ファイルは非常に大きい（160万行）タブで区切られたファイルです。 to_csvを使用してファイルをエクスポートすると、1048576行だけがエクスポートされます。 to_csvがエクスポートする行の最大量はありますか？Python Pandas to_csvには最大行数がありますか？

別の方法でデータをエクスポートする必要がありますか？私は本当にそれをCSVに取り込めるようにしたいと思います。

ここに私のコードの例があります。

import pandas as pd 
import numpy as np 
import os 

from pandas import Series, DataFrame 

pathDataEDM = "C:/Users/FILE.txt" 

dataEDM = pd.read_csv(pathDataEDM, sep="\t") 

dataEDM.to_csv(os.path.join(ExportDir),index=False)

出典

2017-04-24 brandog

データが正しく読み取られたことを確認しましたか？例えば。 'dataEDM.info（）'は正しい行数を報告しますか？ – alexis

alexisと同様に、私はエクスポートがどこで停止するかの近くでフォーマット/解析エラーをチェックします。たとえば、48576行をテキストファイルにエクスポートすると、1048576個のエクスポートされた行、つまり1000000が得られますか？ – cphlewis

私は最大値がないと考えています（これは記載されていないため、最大値は160万です）。

あなたは（docsを参照）、以下のオプションの引数を指定してみてくださいすることができます

チャンク：文字列：一度

圧縮を書くためのintまたはなし 行、オプション 出力ファイルで使用する圧縮を表す文字列、が許可されています値は‘gzip’, ‘bz2’, ‘xz’で、最初の引数がファイル名の場合のみ使用されます

出典

2017-04-24 23:05:06 matusko

Python Pandas to_csvには最大行数がありますか？

答えて

関連する問題