ANTLR v4でトークン化する方法

Question

開始時私は悪い英語をお詫びしたい。 私はwebAppを作成し、私の仕事はJavaコードをトークン化することです。私はANTLR v4のようなツールを見つけ、それを実装しようとしました。

public class Tokenizer { 
    public void tokenizer(String code) { 
    ANTLRInputStream in = new ANTLRInputStream(code); 
    Java8Lexer lexer = new Java8Lexer(in); 
    List<? extends Token> tokenList = new ArrayList<>(); 
    tokenList = lexer.getAllTokens(); 
    for(Token token : tokenList){ 
     System.out.println("Next token :" + token.getType() + "\n"); 
    } 
    } 
} 

このコードは、number of token typeのintの画面リストに表示されます。コードへの「コメント」のようなもので

コード： 私はこのようなものが必要。 どうすればこの結果が得られますか？ 私はこの文法を持っている：https://github.com/antlr/grammars-v4/tree/master/java8

Answer 1

Tokenクラスには、対応するソースとトークンを関連付ける

int getLine(); 
int getCharPositionInLine(); 

を含むいくつかの方法が含まれています。

Answer 2

あなたはトークンが表す解析されたテキストを取得する必要があります

token.getText() 

を使用します。また

、あなたが

lexer.getVocabulary().getSymbolicName(token.getType()) 

Answer 3

によってトークンの名前を取得する必要がありますが、ここに直面している問題は、出力内のトークンやルールのミックスをしたいです。たとえば、VARIABLE_DECLARATIONは実際にはパーサールールですが、IDENTIFIER ASSIGN IDENTIFIERは3つのレクサールールで構成されています。トークンストリームを使用して認識された語彙を印刷することはできますが、パーサールールは得られません。

代わりに試してみることができるのは、戻りパーズツリーを印刷することです。これは、入力に対して実際の解析を実行するときに発生します（ParseTree.toString()参照）。パーサー・リスナーを使用すると、解析ツリーをウォークし、ルールに属するテキスト（コンテキスト）とともにルール記述のストリームに変換できます。