テキストファイルの処理中にテキストのセクションをトークン化する

Question

私は、既存のマークアップライブラリをC＃/ .NETクラスライブラリに移植するための趣味プロジェクトに取り組んでいます。 Markdownに慣れていれば、それは同様のコンセプトです。

初期の質問は、テキストのセクションに他の構文ルールで処理されないようにするための構文があり、これについていくつかアドバイスしたいと思います。

私には、これらのセクションを最初に検索し、何らかの意味のあるトークンで置き換えて、残りの処理ルールを実行してから、最後のステップとして、トークンをテキストに置き換えます彼らは表す。

これは他人にとって最も理にかなっていますか？また、既存のテキストに一致するトークンを誤って作成する可能性があるような場合、どのようにトークンを生成しますか？

ありがとうございました！

pt

Answer 1

適切なパーサジェネレータを使用してトークナイザを作成してみませんか？

おそらくANTLRと数時間で何かをノックインすることができます。