ANTLRをJavaソースファイルの静的解析に使用する

Question

ANTLR文法ファイルとJavaソースコードを使用してJavaソースを分析するための完全な実装（githubまたはgooglecode）がありますか？たとえば、変数、メソッドなどの数を数えたいだけです。

最近のバージョンのANTLRを使用しています。

Answer 1

私は昼休みにこれに亀裂を入れると思いました。これはあなたの問題を完全に解決するわけではありませんが、始める場所を与えるかもしれません。この例では、すべて同じディレクトリ内で作業していることを前提としています。

1. GitHubからANTLR sourceをダウンロードしてください。 ANTLRサイトの事前コンパイル済み「完全」JARには、既知のバグが含まれています。 GitHubリポジトリには修正があります。

2. ANTLRタールボールを抽出します。

   % tar xzf antlr-antlr3-release-3.4-150-g8312471.tar.gz

3. ANTLR "complete" JARをビルドします。

   % cd antlr-antlr3-8312471 
   % mvn -N install 
   % mvn -Dmaven.test.skip=true 
   % mvn -Dmaven.test.skip=true package assembly:assembly 
   % cd -

4. Java grammarをダウンロードしてください。他にもあるが、私はこれが動作することを知っている。

5. Javaソースに文法をコンパイルします。

   % mkdir com/habelitz/jsobjectizer/unmarshaller/antlrbridge/generated 
   % mv *.g com/habelitz/jsobjectizer/unmarshaller/antlrbridge/generated 
   % java -classpath antlr-antlr3-8312471/target/antlr-master-3.4.1-SNAPSHOT-completejar.jar org.antlr.Tool -o com/habelitz/jsobjectizer/unmarshaller/antlrbridge/generated Java.g

6. Javaソースをコンパイルします。

   % javac -classpath antlr-antlr3-8312471/target/antlr-master-3.4.1-SNAPSHOT-completejar.jar com/habelitz/jsobjectizer/unmarshaller/antlrbridge/generated/*.java

7. 次のソースファイルMain.javaを追加します。

   import java.io.IOException; 
   import java.util.List;
    
   import org.antlr.runtime.*; 
   import org.antlr.runtime.tree.*;
    
   import com.habelitz.jsobjectizer.unmarshaller.antlrbridge.generated.*;
    
   public class Main { 
       public static void main(String... args) throws NoSuchFieldException, IllegalAccessException, IOException, RecognitionException { 
        JavaLexer lexer = new JavaLexer(new ANTLRFileStream(args[1], "UTF-8")); 
        JavaParser parser = new JavaParser(new CommonTokenStream(lexer)); 
        CommonTree tree = (CommonTree)(parser.javaSource().getTree()); 
        int type = ((Integer)(JavaParser.class.getDeclaredField(args[0]).get(null))).intValue(); 
        System.out.println(count(tree, type)); 
       } 
       private static int count(CommonTree tree, int type) { 
        int count = 0; 
        List children = tree.getChildren(); 
        if (children != null) { 
         for (Object child : children) { 
          count += count((CommonTree)(child), type); 
         } 
        } 
        return ((tree.getType() != type) ? count : count + 1); 
       } 
   }

8. コンパイル。

   % javac -classpath .:antlr-antlr3-8312471/target/antlr-master-3.4.1-SNAPSHOT-completejar.jar Main.java

9. カウントするJavaソースのタイプを選択します。例えば、VAR_DECLARATOR,FUNCTION_METHOD_DECLまたはVOID_METHOD_DECLである。

   % cat com/habelitz/jsobjectizer/unmarshaller/antlrbridge/generated/Java.tokens

10. 最近作成されたMain.javaを含め、どのファイルでも実行できます。

    % java -classpath .:antlr-antlr3-8312471/target/antlr-master-3.4.1-SNAPSHOT-completejar.jar Main VAR_DECLARATOR Main.java 
    6

もちろんこれは、不完全です。詳しく見ると、拡張されたforステートメントのローカル変数がカウントされていないことに気づいたかもしれません。そのためにはVAR_DECLARATORではなくFOR_EACHのタイプを使用する必要があります。

Javaソースの要素をよく理解していなければなりません。また、この特定の文法の定義にどのように一致するかについて、合理的に推測することができます。また、参照のカウントを行うこともできません。宣言は簡単ですが、フィールドの使用をカウントするなど、参照の解決が必要です。p.C.fは、クラスCの静的フィールドfをパッケージp内に参照していますか、またはクラスpの静的フィールドCによって保存されたオブジェクトのインスタンスフィールドfを参照していますか？基本的なパーサーは、Javaのような複雑な言語の参照を解決しません。一般的なケースは非常に困難な場合があるためです。このレベルの制御が必要な場合は、コンパイラ（またはそれに近いもの）を使用する必要があります。 Eclipseコンパイラは一般的な選択です。

また、ANTLR以外のオプションもあります。 JavaCCは別のパーサジェネレータです。 JavaCCをパーサジェネレータとして使用する静的解析ツールPMDでは、指定した種類のカウントに使用できるカスタムルールを記述できます。