numpy.loadtxt（）を使用してテキストファイルを文字列としてロード

Question

文字列を含む2D np-arrayとして大きなテキストファイル（約1  GB、3 * 10^6行と10 - 100列）をロードしたいとします。しかし、numpy.loadtxt（）はデフォルトで浮動小数点数をとります。配列全体に別のデータ型を指定することは可能ですか？私は運なしで次のことを試してみた：

loadedData = np.loadtxt(address, dtype=np.str) 

私は、次のエラーメッセージが出ます：

/Library/Python/2.7/site-packages/numpy-1.8.0.dev_20224ea_20121123-py2.7-macosx-10.8-x86_64.egg/numpy/lib/npyio.pyc in loadtxt(fname, dtype, comments, delimiter, converters, skiprows, usecols, unpack, ndmin) 
    833    fh.close() 
    834 
--> 835  X = np.array(X, dtype) 
    836  # Multicolumn data are returned with shape (1, N, M), i.e. 
    837  # (1, 1, M) for a single row - remove the singleton dimension there 

ValueError: cannot set an array element with a sequence 

任意のアイデア？ （私のファイル内の正確な列数は事前にわかりません）

Answer 1

代わりにgenfromtxtを使用してください。

import numpy as np 
print np.genfromtxt('col.txt',dtype='str') 

ファイルcol.txt使用：

foo bar 
cat dog 
man wine 

これが与える：

[['foo' 'bar'] 
['cat' 'dog'] 
['man' 'wine']] 

あなたは各行が同じ列数を持っていることが予想される場合にはloadtxtよりもはるかに一般的な方法です最初の行を読み取って、属性filling_valuesを設定して不足行を修正します。

Answer 2

NumPy配列が必要ですか？そうしないと、ネストされたリストとしてデータをロードすることで処理が高速化されます。 4000x4000の言葉これはloadtxtよりも約10倍高速であると、テキストファイルの場合

def load(fname): 
    ''' Load the file using std open''' 
    f = open(fname,'r') 

    data = [] 
    for line in f.readlines(): 
     data.append(line.replace('\n','').split(' ')) 

    f.close() 

    return data 

。

Answer 3

も高速であり、列によって非コンマ列の区切りと自動タイピングをサポートしていますPandasでread_csv、あります：

あなたがそのタイプを好む場合には、numpyの配列に変換することができ

import pandas as pd 
df = pd.read_csv('your_file',sep='\t') 

：

import numpy as np 
arr = np.array(df) 

これは私が見てきた最も簡単で成熟したテキストのインポート方法です。