トークン属性

Question

私は単純な字句解析ツールを書いています。そして私は認識された各トークンに属性を付ける必要性を理解しています。のは、私が得たものを見てみましょう：

レクサーで

public sealed class Token 
{ 
    public enum TokenClass 
    { 
     Identifier, 
     StringLiteral, 
     NumberLiteral, 
     Operator, 
     PunctuationSeparator, 
     Bracket, 
     Parenthesis 
    }   
    public TokenClass Class { get; internal set; } 
    public String  Value { get; internal set; } 
} 

私はthier値&クラスを設定するトークンをキュー。しかし、属性についてはどうですか？既存のトークンクラスに関連して機能をどのように設計する必要がありますか？

まず取り払わは私の心に入って来たのだった。

1. が内部トークンクラス（私はその数が整数と実などが可能性を意味する）「あいまいな-実体」のプライベート抽象クラスを宣言します。
2. 次に、継承されたクラスを宣言します。 public class Comma : PunctuationSeparator {};
3. プロパティを追加Object Attribute {get; private set;};
4. 次に、private void ApplyAttribute()のようなメソッドを作成します。
5. トークンをインスタンス化してプロパティを設定すると、ApplyAttribute()が呼び出されます。

6. ApplyAttribute()のように使用してください。 if(CurToken.Attribute is Integer)ような何かを書くのは簡単だろうパーサで

   switch(this.TokenClass) 
   { 
   case this.TokenClass.Number: 
       { 
        this.Attribute = (Int32.TryParse(this.Value))? new Integer() : new Real();     
       } 
   } 
   

。 そうすることを止めることの1つは、私が作成すべきクラスの数です。この解決策は受け入れられますか？

Answer 1

私はトークンのために使用したい属性？おそらく

public class Token 
{ 
    public TokenType Type { get ; private set ; } 
    public string Text { get ; private set ; } 
    public int  LineNumber { get ; private set ; } 
    public int  Column  { get ; private set ; } 
} 

public enum TokenType 
{ 
    Keyword : 1 , 
    Integer , 
    String , 
    Whitespace , 
    Comment , 
    ... 
} 

の線に沿って何か私が「価値」へのトークンのテキストの変換に関する以前のポスターで、しかし、反対します。 IMHOは、パーサーのドメインとパーズツリーのノードです。パーサーがコンテキストWRT文法の中にトークンを置くまで、トークンはそれに付けられたラベルを持つ単なるテキストです。字句解析ツールは、下流で何が起こっているのかわかりません（そして、気にする必要があります）。知っている限り、ソーステキストをきれいに印刷しています（この場合、個々のトークンを残しておきたい）。

• Language Implementation Patterns: Create Your Own Domain-Specific and General Programming Languages
• The Definitive ANTLR Reference: Building Domain-Specific Languages

Answer 2

代わりの

public String Value { get; internal set; } 

だけ

public object Value { get; internal set; } 

を使用し、整数または浮動小数点値としてそこに格納整数または浮動小数点値。次に、あなたのパーサーにあなただけの

if (token.Value == null) 
{ 
    // blah 
} 
else if (token.Value is int) 
{ 
    // work with (int) token.Value 
} 
else if (token.Value is double) 
{ 
    // work with (double) token.Value 
} 
else if (token.Value is string) 
{ 
    // work with (string) token.Value 
} 

または代わりを言うことができます。

int? integer; 
double? floating; 
string str; 

if (token.Value == null) 
{ 
    // blah 
} 
else if ((integer = token.Value as int?) != null) 
{ 
    // work with integer.Value 
} 
else if ((floating = token.Value as double?) != null) 
{ 
    // work with floating.Value 
} 
else if ((str = token.Value as string) != null) 
{ 
    // work with str 
}