Parsecを使用した文字列トークンの字句解析

Question

私はHaskell Parsecライブラリを使用した文字列解析用にこのパーサを持っています。私の言語で

myStringLiteral = lexeme (
     do str <- between (char '\'') 
        (char '\'' <?> "end of string") 
        (many stringChar) 
        ; return (U.replace "''" "'" (foldr (maybe id (:)) "" str)) 

     <?> "literal string" 
     ) 

文字列は''（例：'this is my string'）の内部アルファ-numが文字として定義されているが、これらの文字列はまた、それの内部'を含めることができます（この場合は'は別の'、EXでエスケープする必要があります。 'this is my string with '' inside of it'）。

文字列の解析中に'が表示されたときに、次の文字列がある場合は、'があるかどうかを確認してください（そうでない場合は、文字列の末尾を返します）。しかし、私はそれを行う方法を知らない。何か案は？ありがとう！

Answer 1

、あなたは、エスケープ単一引用符のため

escapeOrStringChar :: Parser Char 
escapeOrStringChar = try (string "''" >> return '\'') <|> stringChar 

を特殊なケースを作ることができますし、そのためにstringLiteralを使用することができます

myStringLiteral = lexeme $ do 
    char '\'' 
    str <- many escapeOrStringChar 
    char '\'' <?> "end of string" 
    return str 

Answer 2

ParsecはLL（1）言語（details）のみを扱います。これは、パーサーが一度に1つのシンボルしか見ることができないことを意味します。あなたの言語はLL（2）です。あなたの言語を解析するためにあなた自身のFSMを書くことができます。または、解析する前にテキストを変換してLL（1）にすることができます。

実際、Parsecは語彙ではなく構文解析用に設計されています。良いアイデアは、他のツールを使って字句解析を行い、Parsecを使って文字のシーケンスの代わりに字句のシーケンスを解析することです。

構文はそれはそうと同じくらい簡単である場合

Answer 3

にそれを使用します。