あいまいさをサポートするJava CFGパーサ

Question

Javaで実装されたCFGパーサを探しています。私は自然言語を解析しようとしています。そして、私は可能なすべての解析木（あいまいさ）が必要です。私はすでにスタンフォードパーサーのような多くのNLPパーサーを研究していました。しかし、それらは主に統計データ（私が持っていないツリーバンク）を必要とし、それらを新しい言語に適応させることはむしろ難しく、文書化されていません。 ANTRLやJFlexなどのパーサージェネレータがいくつか見つかりましたが、あいまいさを処理できるかどうかはわかりません。どのパーサージェネレータまたはJavaライブラリが私のために最適ですか？ ありがとうございます

Answer 1

Earleyアルゴリズムを使用するパーサーが必要です。私はこれらの2つのライブラリのどちらも使用していませんが、PENとPEPがJavaでこのアルゴリズムを実装しているようです。

Answer 2

もう1つのオプションはBisonで、これはGLRです。 GLRはあいまいな文法をサポートするLR型構文解析アルゴリズムです。 Bisonは、C++に加えて、Javaコードも生成します。

Answer 3

hereを参照してください。そのディスカッションの私の最後のコメントでは、派生を失敗させる前に派生したパーズツリーを複製することによって、パースツリーのすべてを生成できるようにすることを説明します。

はあなたの文法がある場合：

G -> ... 

あなたは強化だろうが、このようです：

G' -> G {semantic:deal-with-complete-parse-tree} <NOT-VALID-TOKEN>. 

解析エンジンは、最終的にすべての派生に失敗しますが、あなたのプログラムがあります次のいずれか

• すべての樹木の保存クローン。
• 見つかった各ツリーのセマンティクスを扱います。

私が教授していた時、ANTLRとJavaCCの両方がうまくいった。私の好みは、BNFのレキシカルな分析と、それほど複雑ではない歴史、ビジョン、yとライセンスのためANTLRです。