はパーサーに必要なトークナイザですか？

Question

tokenizer、lexer、およびparserは、通常、3つの標準部分としてまとめられています。

• パーサーはトークナイザなしで作成でき、ASTは入力から直接構築できますか？トークン化のメリットと欠点は何ですか？

Answer 1

あなたは確かが、その後バックトラックとあなたが再スキャンし、すべての文字を文字で必要とするので、より複雑になる先読み、トークナイザをスキップすることができます。これにより、パーサーの保守や変更が非常に難しくなります。また、少し遅くなります。