独自のStreamTokenizerをJavaで構築する

Question

こんにちは。 私は自分自身のニーズにマッチするStreamTokenizerを構築しています。 javaのStreamTokenizerと同じように、見つかったデータのタイプを表す整数を返すnextToken()メソッドがあります。 私がしようとしているのは、トークンが使用する正規表現パターンと一致しない場合、トークン自体を整数コードとして返します。例えば、 '$'トークンは、println（number）が$を出力するような番号を返すでしょう。 私はそれをどうやって行うのか分かりません、誰ですか？

ありがとうございました！

Answer 1

正規表現の束からレクサーを構築する場合は、ANTLRのようなパーサジェネレータを調べます。その後、 `と、

// Matches tokens foo and bar 
Pattern myTokenDefinition = Pattern.compile("^(?:foo|bar)"); 

public boolean hasNext() { 
    return sourceText.length() != 0; 
} 

public String next() { 
    if (sourceText.length() != 0) { 
    Matcher m = myTokenDefinition.matcher(sourceText); 
    String token; 
    if (m.find()) { 
     token = m.group(); 
    } else { 
     token = sourceText.substring(0, 1); 
    } 
    sourceText = sourceText.substring(token.length()); 
    return token; 
    } 
    throw new NoSuchElementException(); 
}