ヨーロッパの日付でCoreNLP文分割を修正しました

Question

スタンフォードCoreNLPは、多くの一般的なヨーロッパの日付形式（c.f. Date and time notation in Europe (Wikipedia)）では機能しません。

私たちは皆、日付解析が混乱していることを知っています。特にcrazy mm-dd-yyyy format the U.S. usesです。それにもかかわらず、CoreNLPは、点であまりにも積極的に分割するため、基本的なヨーロッパの日付フォーマットを処理することはできません。しかし、日付情報は、多くの場合、例えば、

1. Die Terroranschläge am 11. 
2. September 2001, einem Dienstag, waren vier [...] 

：

は、CoreNLPはにこれを分割何であれ、私がしようTerroranschläge11. 2001年9月です、einemディーンスターク、ヴァーレンフィアkoordinierteFlugzeugentführungenMITanschließendenSelbstmordattentaten ... (Wikipedia)

ダイ：として

CoreNLPは、ドイツ語NLPではほとんど使用できません。この点は単にこれを序数としてマークしています。つまり、これはドイツの「2001年9月11日」の書き方です。また、ドイツ語でNotation "11. 9. 2001"が頻繁に表示され、CoreNLPは9.が別のセンテンスであり、 "2001年9月11日"

と考えています（いくつかの方法をオーバーライドするなど）自分のルールで誤って分割された文章を再結合するパターンを定義するたとえば、[123]?\d\. 1?\d\.は日付の典型的なもので、月は多くありません。

Answer 1

これはCoreNLPを含むソリューションではありませんが、恥知らずのセルフプラグでは、文分割器および単語トークナイザ、segtok; GitHub。この苦情を読んだ後、自分のセグメンタもこの機能をサポートしていないことに気がついたので、今すぐ追加してPyPIとGitHubにアップデートをプッシュしました。

私は、一般的に非常に良い結果を出していると思うのですが、ヨーロッパ特有の問題（私はスペイン語、英語、ドイツ語を流暢に話し、他のヨーロッパ言語についてはちょっと理解しています）あなたは見てみたいかもしれません。

Answer 2

私はバグレポートに回避策を掲載している：

基本的に

https://github.com/stanfordnlp/CoreNLP/issues/380

を、その間の何文字と前のトークンが存在しない場合、私は、前のトークンにドットをマージするものと既存のTokenizerAnnotatorをラップすべて数値です。これは合理的に効率的でなければなりません - 正規表現ベースのアプローチよりはるかに効率的です。