正規表現を使ったトークン化の数式

Question

私は式の文字列をトークンに分割しようとしています。 Iveは良い出発点を見つけました」（[A-Za-z] + | [0-9。] + | [& => < \ |！] + | \ S） ' しかし、これは負の数に問題があります。

turns: '5--4=sin(2+3)' 
into: ['5','-','-','4','=','sin','(','2','+','3',')'] 
want: ['5','-','-4','=','sin','(','2','+','3',')'] 

とも

turns: -3+3 
into: ['-','3','+','3'] 
want: ['-3','+','3'] 

数がある場合、私の正規表現はの左側にチェックし、何かを使用することができますように見えます「 - 」場合次の数字でそれを保持しないでください（「-3」は左に何もしません）。それは正規表現を使用して行うことができますか？または、これを.NETで分割するための優れたツールがありますか？

Answer 1

正規表現は、すべてのコンテキストで必要な処理を実行するのに十分強力ではありません。正規表現を整数リテラルの一部として+または-と認識させることはできますが、たとえば数字シーケンスの前にオプションの[+-]?を追加すると、結果の正規表現は'-3+3'を['-3', '+3']（demo）としてトークン化します。

レクサージェネレータを使用するとこの問題は解決されます。代わりに、パーサの単項演算子をオペランドで "束ねる"ことができます。

Answer 2

問題に正しく近づいていません。あなたが実際にを得た結果はです。

-3+3がに解析する必要があります：それは

operator binary + 
| 
+-- operator unary - 
| | 
| +-- 3 
| 
+-- 3 

あなたは多くあいまいさを避けるためだろう、数学の表現について、このように推論する方がはるかに簡単になります。ただ-を常にトークンにして、それをバイナリマイナスまたは単項否定演算子として使用してください。

このように問題に近づく私の関連する回答については、hereを参照してください（ANTLRを使用しますが、レキシングパスは私があなたにアドバイスしているとおりです）。