正規表現パターンITSELFをどのようにトークン化するのですか？

Question

regexpを使っていくつかの文字列をトークン化する方法に関する質問がたくさんあります。

しかし、正規表現のパターン自体をトークン化するには、私はその件名にいくつかの投稿があると確信していますが、見つけられません。

例：

^\w$     -> ['^', '\w', '&'] 
[3-7]*     -> ['[3-7]*'] 
\w+\s\w+    -> ['\w+', '\s', '\w+'] 
(xyz)*\s[a-zA-Z]+[0-9]? -> ['(xyz)*','\s','[a-zA-Z]+','[0-9]?'] 

私は、この作品がいくつかregexp関数が呼び出されたボンネットの下にpythonで行われていると仮定しています。

Answer 1

開始場所：PyPy projectには（ほとんどが）PythonのPythonの実装があります。ソース配信のre.pyはsre-compile.c:_compile()を呼び出して作業を行います。あなたは、あなたが望む出力形式を提供するためにそれをハックすることができるかもしれません。

編集また、JavascriptのXRegExp libraryは、拡張構文で正規表現を解析し、標準の構文にそれらをレンダリングします。 parser routineがお手伝いします。