ANTLR4パースルールを開いて閉じ括弧に一致させる

Question

「コード」の後ろに「{」と続けて、解析に関心のないコードを続け、 '}'をつけた言語を解析しています。 。

単に右中括弧に進んでしまう..which

skip_code: 'code' '{' ~['}']* '}'

：私は、理想的のようなルールを持っているしたいと思います。問題は、スキップされるコード自体が中括弧のペアを持つ可能性があることです。だから、私が本質的に必要とするのは、カウンターを動かし、カウンターが0に戻ったときに解析ルールを終了することです。

何が最善の方法ですANTLR4でこれは？ 「コード」が検出されたときにカスタム関数にスキップして、トークンを呑み込んでカウンターを動かすべきですか、それとも文法自体でこれを表現するためのエレガントな方法がありますか？

EDIT：いくつかのサンプルコード、要求通り：私はレクサーでこれらのコードブロックを処理したい

skip_code: CODE_SYM block; 
block: OPEN_CURLY (~CLOSE_CURLY | block)* CLOSE_CURLY; 

CODE_SYM: 'code'; 
OPEN_CURLY: '{'; 
CLOSE_CURLY: '}'; 

Answer 1

私のようなものを使用すると思います。迅速なデモ：あなたは上記のクラスを実行する場合

import org.antlr.v4.runtime.ANTLRInputStream; 
import org.antlr.v4.runtime.Token; 

public class Main { 

    public static void main(String[] args) { 

     String source = "class foo;\n" + 
       " int m_bar;\n" + 
       " function foo_bar;\n" + 
       "  print(\"hello world\");\n" + 
       " endfunction\n" + 
       " code {\n" + 
       "  // This is some C code }}} \n" + 
       "  void my_c_func() {\n" + 
       "  printf(\"I have curly braces {} in a string!\");\n" + 
       "  }\n" + 
       " }\n" + 
       " function back_to_parsed_code;\n" + 
       " endfunction\n" + 
       "endclass"; 

     System.out.printf("Tokenizing:\n\n%s\n\n", source); 

     DemoLexer lexer = new DemoLexer(new ANTLRInputStream(source)); 

     for (Token t : lexer.getAllTokens()){ 
      System.out.printf("%-20s '%s'\n", 
        DemoLexer.VOCABULARY.getSymbolicName(t.getType()), 
        t.getText().replaceAll("[\r\n]", "\\\\n") 
      ); 
     } 
    } 
} 

、以下が出力されます：

Tokenizing: 

class foo; 
    int m_bar; 
    function foo_bar; 
    print("hello world"); 
    endfunction 
    code { 
    // This is some C code }}} 
    void my_c_func() { 
     printf("I have curly braces {} in a string!"); 
    } 
    } 
    function back_to_parsed_code; 
    endfunction 
endclass 

ID     'class' 
ID     'foo' 
ANY     ';' 
ID     'int' 
ID     'm_bar' 
ANY     ';' 
ID     'function' 
ID     'foo_bar' 
ANY     ';' 
ID     'print' 
ANY     '(' 
STRING    '"hello world"' 
ANY     ')' 
ANY     ';' 
ID     'endfunction' 
ID     'code' 
BLOCK    '{\n  // This is some C code }}} \n  void my_c_func() {\n  printf("I have curly braces {} in a string!");\n  }\n }' 
ID     'function' 
ID     'back_to_parsed_code' 
ANY     ';' 
ID     'endfunction' 
ID     'endclass' 

Answer 2

：

class foo; 
    int m_bar; 
    function foo_bar; 
    print("hello world"); 
    endfunction 
    code { 
    // This is some C code 
    void my_c_func() { 
     printf("I have curly braces {} in a string!"); 
    } 
    } 
    function back_to_parsed_code; 
    endfunction 
endclass 

Answer 3

あなたはあなたの目的のためにmodesを使用することができます。 CODEセクションの2つのモードに注意してください。 Yoyは、1つのモードでCODEセクションを正しく閉じることはできません。

レクサー

lexer grammar Question_41355044Lexer; 

CODE: 'code'; 
LCURLY: '{' -> pushMode(CODE_0); 
WS: [ \t\r\n] -> skip; 

mode CODE_0; 

CODE_0_LCURLY: '{' -> type(OTHER), pushMode(CODE_N); 
RCURLY: '}' -> popMode;  // Close for LCURLY 
CODE_0_OTHER: ~[{}]+ -> type(OTHER); 

mode CODE_N; 

CODE_N_LCURLY: '{' -> type(OTHER), pushMode(CODE_N); 
CODE_N_RCURLY: '}' -> type(OTHER), popMode; 
OTHER: ~[{}]+; 

パーサー

parser grammar Question_41355044Parser; 

options { tokenVocab = Question_41355044Lexer; } 

skip_code: 'code' LCURLY OTHER* RCURLY; 

入力

code { 
    // This is some C code 
    void my_c_func() { 
     printf("I have curly braces {} in a string!"); 
    } 
} 

個の出力トークン

CODE LCURLY({) OTHER( // Th...) OTHER({) OTHER(  pr...) 
OTHER({) OTHER(}) OTHER(in a st...) OTHER(}) OTHER() RCURLY(}) EOF 

同じアプローチがANTLR文法自体を解析するために使用される：https://github.com/antlr/grammars-v4/tree/master/antlr4が

しかし、ランタイムコードLexerAdaptor.py代わりに二レベルモードが使用されます。