Python 3のlen（set）とset .__ len __（）のパフォーマンスの比較

Question

Pythonのアプリケーションをプロファイリングする際に、len()がセットを使用するときに非常に高価に見えることがわかりました。 lenA()がlenB()よりも14倍遅くなるようですが、以下のプロファイラの統計によると

import cProfile 

def lenA(s): 
    for i in range(1000000): 
     len(s); 

def lenB(s): 
    for i in range(1000000): 
     s.__len__(); 

def main(): 
    s = set(); 
    lenA(s); 
    lenB(s); 

if __name__ == "__main__": 
    cProfile.run("main()","stats"); 

：以下のコードを参照してください

ncalls tottime percall cumtime percall filename:lineno(function) 
     1 1.986 1.986 3.830 3.830 .../lentest.py:5(lenA) 
1000000 1.845 0.000 1.845 0.000 {built-in method len} 
     1 0.273 0.273 0.273 0.273 .../lentest.py:9(lenB) 

私は何かが足りないのですか？現在、私が代わりにlen()の__len__()を使用しますが、コードが汚れに見える:(明らかに

Answer 1

それは関数呼び出しを行います。TypeErrorからAttributeErrorを変換する。また、set.__len__はそれがバインドされ、このような簡単な操作であるため、lenは、いくつかのオーバーヘッドを持っていますtimeitを使用しているときだけについては何と比較して非常に高速であるが、私はまだ14倍の違いのようなものを見つけることができません：

In [1]: s = set() 

In [2]: %timeit s.__len__() 
1000000 loops, best of 3: 197 ns per loop 

In [3]: %timeit len(s) 
10000000 loops, best of 3: 130 ns per loop 

あなたはいつもちょうどlen、ない__len__を呼び出す必要がありlenへの呼び出しがある場合。ボトルネックあなたのプログラムでは、そのデザインを再考するべきです。キャッシュのサイズをどこかに設定するか、lenを呼び出さずに計算します。

Answer 2

これはコメントになるだろうが、彼の論争の結果と私が得た結果に関するlarsmanのコメントの後、スレッドに自分のデータを追加するのは面白いと思う。

しようとすると、多かれ少なかれ、私はOPが得た反対だ、とlarsmanでコメントし、同じ方向に同じセットアップ：

12.1964105975 <- __len__ 
6.22144670823 <- len() 

C:\Python26\programas> 

テスト：

def lenA(s): 
    for i in range(100): 
     len(s); 

def lenB(s): 
    for i in range(100): 
     s.__len__(); 

s = set() 

if __name__ == "__main__": 

    from timeit import timeit 
    print timeit("lenB(s)", setup="from __main__ import lenB, s") 
    print timeit("lenA(s)", setup="from __main__ import lenA, s") 

これは2.6 ActivePythonのです。 7 64bit in win7

Answer 3

これはプロファイラーに関する興味深い見解で、len関数の実際のパフォーマンスとは関係ありません。あなたはプロファイラの統計では、lenAに関する二行があり、以下を参照してください。

ncalls tottime percall cumtime percall filename:lineno(function) 
     1 1.986 1.986 3.830 3.830 .../lentest.py:5(lenA) 
1000000 1.845 0.000 1.845 0.000 {built-in method len} 

... lenBに関する唯一のラインがある間：プロファイラはlenAからそれぞれ単一の呼び出しを計時している

 1 0.273 0.273 0.273 0.273 .../lentest.py:9(lenB) 

lenまでですが、全体としてはlenBです。コールをタイミングすると、常にオーバーヘッドが追加されます。 lenAの場合、このオーバーヘッドは100万倍になります。