弦に結合する。ジェネレータまたはリストの理解？

Question

巨大な文字列からアルファベットを抽出する問題を考えてみましょう。リスト内包は、文字のリストを生成します。実行する

一つの方法は、メカニズムは明らかである

''.join([c for c in hugestring if c.isalpha()]) 

です。結合メソッドは、リストの長さにアクセスして結合する必要のある文字の数を認識します。行うには

他の方法は、ここで

''.join(c for c in hugestring if c.isalpha()) 

発電機で発電理解した結果です。結合メソッドは、生成元がlen属性を持たないため、結合する文字数を認識しません。したがって、この結合方法はリストの理解方法よりも遅くなるはずです。

しかし、Pythonでテストすると、遅くはないことがわかります。なぜこれはそうですか？ ジェネレータで結合がどのように機能するかは誰でも説明できます。

は明確であるために：それは累積合計を追跡することができますので、

sum(j for j in range(100)) 

は、100のいずれかの知識を持っている必要はありません。ジェネレータの次のメソッドを使用して次の要素にアクセスし、累積合計に加算することができます。 しかし、文字列は不変であるため、文字列を結合すると、各繰り返しで新しい文字列が作成されます。だからこれには多くの時間がかかります。

Answer 1

str.join(gen)を呼び出します。genがジェネレータである場合、Pythonはlist(gen)に相当する処理を行い、結果のシーケンスの長さを調べます。

具体的には、あなたlook at the code implementing str.join in CPython場合は、このコールが表示されます：それはすでにリストやタプルではなかった場合

は

fseq = PySequence_Fast(seq, "can only join an iterable"); 

PySequence_Fastへの呼び出しはリストにseq引数を変換します。

したがって、呼び出しの2つのバージョンはほぼ同じように処理されます。リストの理解では、自分でリストを作成してjoinに渡します。ジェネレータ表現バージョンでは、渡したジェネレータオブジェクトはjoinの先頭にあるlistになり、残りのコードは両方のバージョンで同じように動作します。

Answer 2

join()は、シーケンスの要素をより長く蓄積された文字列に連続して追加することで実装する必要はありません（長いシーケンスでは非常に遅くなります）。同じ結果を出すだけでよいのです。だからjoin()はおそらくちょうどいくつかの内部メモリバッファに文字を追加し、最後にそれから文字列を作成しています。リストの理解の構造は、一方でリストを構築し（hugestringのジェネレータをトラバースすることによって）、最初にjoin()の作業を開始させる必要があります。

また、join()は、各要素が単一の文字であることを知ることができないので（ほとんどの場合、そうではありません）、おそらくリストからジェネレータを取得するだけです。

Answer 3

少なくとも私のマシンでは、おそらく''.joinがメモリ割り当てを最適化することができるため、テストしたケースでリストの解説が高速になります。それはおそらくちょうど（あなたがテストしている状態があまり頻繁に発生した場合、CPythonのは先に時間の長さを知らないために支払う価格は小さくてもよい、など）あなたがテストしている具体例に依存します。

In [18]: s = ''.join(np.random.choice(list(string.printable), 1000000)) 

In [19]: %timeit ''.join(c for c in s if c.isalpha()) 
10 loops, best of 3: 69.1 ms per loop 

In [20]: %timeit ''.join([c for c in s if c.isalpha()]) 
10 loops, best of 3: 61.8 ms per loop