行の列数が間違っていますが、どの行も見つかりません

Question

私はこの非常に大きなテキストファイル（約2.5Gb）を持っています。これはPythonを使用して2列のnumpy配列をロードして配置する必要があります。テキストファイルのどこかで列の数が間違っているように見えるので、読み込めません。

私はこの問題が発生した場所を正確に見つけるためにしようとしていますので、私はそれを修正することができます。しかし、私が得る行番号はあまり役に立たない。私はその行の最初の価値を得たいと思います。

ファイルには、次のようになります。

1.001 1 
1.002 0 
1.003 3 
1.004 1 
etc... 

私はこのようなファイルを開いています：だから私は、プログラムがクラッシュした場所でtを希望

import numpy as np 

with open('paths 8_10.txt', 'r') as paths_list: 
    for file_path in paths_list: 
     with open(file_path.strip(), 'r') as file: 
      data = np.loadtxt(file_path.strip()) 
      t = data[:,0]  
      x = data[:,1] 

を。

私はそれがロードを停止するところまで値を出力しますが、私はそれが仕事を得ることができないため、ループを考えていました。

Answer 1

速度が問題ではない場合、私は次のように小規模なテストハーネスを書く勧め：

import csv 

with open('paths 8_10.txt', 'rb') as paths_list: 
    csv_reader = csv.reader(paths_list) 

    for line_number, line in enumerate(csv_reader, start=1): 
     if len(line) != 2: 
      print "Line {} has {} columns: {}".format(line_number, len(line), line) 

これはあなたのメインのスクリプトで使用するための固定必要があるエントリ識別できます。

必要な場合は、このアプローチは簡単ので、将来の使用のためにそれを固定し、誤った行をスキップしたり、余分な列を切り捨て、自動的にファイルを書き出すように拡張することができます。