パンダで5千万の行を処理する（Python）

Question

私はパンダで5千万行のデータフレームを扱っています。私は列を通過し、テキストの特定の部分を抽出する必要があります。列には4つまたは5つのパターンで定義された文字列値があります。私はテキストを抽出し、元の文字列を置き換える必要があります。私はこのためにapply関数と正規表現を使用しています。これは実行するのに一日近くかかります。私はこれが非効率的だと感じます。それともこれは普通ですか？それを速くするために欠けているアプローチがありますか？

Answer 1

はここにドキュメントです：

http://pandas.pydata.org/pandas-docs/stable/indexing.html

http://pandas.pydata.org/pandas-docs/stable/text.html#extracting-substrings

交換テキストは簡単です。いいえ一日は正常ではありません。この投稿の以前のバージョンで持っていたすべてのリストを取り除く。あなたはそれらを必要としません。データのスペースがさらに必要な場合は、データフレームに列を追加します。データ型を学習してデータを小さくします。

import pandas as pd 
df = pd.DataFrame() #import your data at this step 
df['column'].str.extract(regex_thingy_here) 

私は詳細を書いていますが、コードを削除しました。