間違っAST選択

Question

次ANTLR v3の文法を考える：

tokens 
{ 
    OPTION; 
    UNKNOWN; 
} 

statement : my_statement 
      | UNKNOWN_KEYWORD -> ^(UNKNOWN) 
      ; 

my_statement : FIRST SECOND type = THIRD? -> ^(OPTION $type?); 


FIRST : 'my'; 

SECOND : 'keyword'; 

THIRD: 'best'; 

UNKNOWN_KEYWORD : .; 

文字列「私のキーワードthis_is_garbageが」解析されたときに、それはpicked-されている必要がありながら、それはmy_statementにより、ピックアップされていることであるのはなぜUNKNOWN_KEYWORD（返されるASTは^（OPTION $ type？）ですが、^（UNKNOWN）のはずですか？

Answer 1

入力my keyword this_is_garbageは、（仮定スペースが隠されている）は、以下のようにトークン化されるであろう。

FIRST    'my' 
SECOND    'keyword' 
UNKNOWN_KEYWORD 't' 
UNKNOWN_KEYWORD 'h' 
... 
UNKNOWN_KEYWORD 'e' 

即ち、FIRSTトークン、トークンSECOND、次いで15個のUNKNOWN_KEYWORDトークン。

あなたが今statementに一致するようにしようとすると、ルールmy_statementは喜んでトークンストリームで15個のUNKNOWN_KEYWORDトークンを残し、FIRSTとSECONDトークンを消費することになります。

あなたが繰り返しこのようなあなたのstatementルールマッチする場合は、：

parse 
: statement+ EOF 
; 

を、あなたは、次の構文解析ツリーで終わるだろう：

またはこのASTを：

そして、あなたは1つの代替にグループにすべてUNKNOWN_KEYWORDのトークンをしたい場合、あなたがする必要があります：

statement : my_statement 
      | UNKNOWN_KEYWORD+ -> ^(UNKNOWN) 
      ; 

注意ごレクサー内部のあなたができないグループUNKNOWN_KEYWORDこと：

UNKNOWN_KEYWORD : .+ ; 

そのため、字句解析器が文字ストリーム全体を1つの単一のUNKNOWN_KEYWORDトークンに盛り上げるようにする。