pandasのread_csvメソッドがnumpyのloadtxtより高速であることがわかりました。 Unfortunatly今私はnumtに戻る必要がある状況で自分自身を見つけるloadtxtはcomments=['#','@']
を設定するオプションがあります。 Pandasのread_csvメソッドは、ヘルプサイトからわかるように、comment='#'
のような1つのコメント文字列しか取ることができません。私の人生を楽にしてくれるような提案や回避策はありません。また、なぜパンダは複数のコメントインジケータをサポートしていないのですか?なぜpandas read_csvは複数のコメント(#、@、...)をサポートしていないのですか?
# save this in test.dat
@ bla
# bla
1 2 3 4
最小例:
# does work, but only one type of comment is accounted for
df = pd.read_csv('test.dat', index_col=0, header=None, comment='#')
# does not work (not suprising reading the help)
df = pd.read_csv('test.dat', index_col=0, header=None, comment=['#','@'])
# does work but is slow
df = np.loadtxt('test.dat', comments=['#','@'])
[MCVE](http://stackoverflow.com/help/mcve) – Kartik
いくつかのテストデータも含めてください。また、そのコードのどれもパンダを使用していません... – darthbith