イテレータに文字列を分割する

Question

pythonには、リストではなくイテレータを生成する文字列の分割を行うためのビルドイン（標準ライブラリの意味）がありますか？私は非常に長い文字列を扱い、文字列のほとんどを消費する必要がないことを心に留めています。

Answer 1

reモジュールはre.finditer()（対応する正規表現にはfinditer()メソッドがあります）という文字列を直接分割しません。

は@Zeroは、例えば尋ねた：

>>> import re 
>>> s = "The quick brown\nfox" 
>>> for m in re.finditer('\S+', s): 
...  print(m.span(), m.group(0)) 
... 
(0, 3) The 
(4, 9) quick 
(13, 18) brown 
(19, 22) fox 

Answer 2

s.Lottと同じように、私は非常にあなたがしたいのか分かりません。

s = "This is a string." 
for character in s: 
    print character 
for word in s.split(' '): 
    print word 

次の文字を見つけるためのs.index（）とs.find（）もあります。

---

後で、このようなものです。

>>> def tokenizer(s, c): 
...  i = 0 
...  while True: 
...   try: 
...    j = s.index(c, i) 
...   except ValueError: 
...    yield s[i:] 
...    return 
...   yield s[i:j] 
...   i = j + 1 
... 
>>> for w in tokenizer(s, ' '): 
...  print w 
... 
This 
is 
a 
string. 

Answer 3

あなたは（標準ライブラリからインポート可能なされていないが、Pythonの分布自体に吸収された）SPARKのようなものを使用することができますが、最終的にそれは同様に正規表現を使用していますので、Duncan's answerは、おそらく同じようにあなたも役立つであろう空白に分割するのと同じくらい簡単だったのであれば。

もうひとつ、もっと難しいオプションは、あなたが実際にスピードを望んでいれば、自分のPythonモジュールをC言語で書くことですが、これはもちろん、時間のかかる投資です。

Answer 4

文字列全体を消費する必要がない場合は、具体的なものを探しているからです。次に、分割するのではなく、reまたは.find()で探してください。そうすれば、興味のある文字列の部分を見つけて分割することができます。

Answer 5

itertoolsをご覧ください。 takewhile、isliceおよびgroupbyのようなものが含まれています。これは、イテラブル（文字列は反復可能）を、インデックスまたはブール値のソート条件に基づいて別のイテレートにスライスすることを可能にします。

Answer 6

str.splitというイテレータベースのアナログは組み込まれていません。あなたのニーズに応じて、あなたは、リスト反復子を作ることができる：

iterator = iter("abcdcba".split("b")) 
iterator 
# <list_iterator at 0x49159b0> 
next(iterator) 
# 'a' 

しかし、このサードパーティのライブラリからツールはおそらく、あなたが望むものmore_itertools.split_atを提供しています。例については、this postも参照してください。