issue on tokenize.py

Question

python2.xのtokenize（）関数には、 'readline'と 'tokeneater'という2つの引数があります。 2番目の引数はtokenize（）の出力メカニズムを処理し、トークンごとに1回呼び出されます。今、私たちはpython3.xで第二引数 'tokeneater'が存在しないことを知っています。 python3.xの出力メカニズムはどのように処理されていますか？

Answer 1

Python 3.xでは、tokenizeはPython 2.xのgenerate_tokensのように5タプルのストリームを出力として生成します。