ECMAScript仕様で提供されているトークンをexxp contect free grammarにレキシングする他の方法はありますか？

Question

JavaScript文字列をトークンに変換するためのステートマシン表現を探していますが、他の代替表現はありますか？ステートマシンまたはオートマトンの表現ですか？

Answer 1

JavaScriptは有限状態オートマトンでトークン化することはできません。連続する各トークンのゴールシンボルは、その時点での構文解析の状態によって決まるためです。