2016-07-15 8 views
0

私はCorenlpを使用していくつかのアマゾンレビューに注釈を付ける予定ですが、6時間以上待つと何も出力されません。CoreNLPの実行が遅すぎる

1. the review is about 1MB; 
2. the cluster has 12CPU, 64G memory; 
3. the command is 
java -cp "*" -Xmx64g edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,ner,sentiment -outputFormat json -file amazon_apple_comments_4.csv 

何が起こったのですか?それはとても遅いですか?

答えて

0

1Mbドキュメントではそれほど遅いです。少ない時間で注釈を実行して、時間のかかるものを絞り込んでみてください。 tokenizessplitアノテーターは非常に高速です。 posは少し遅くなりますが、悪くはありません。 nerposよりも遅いですが、1MbのAmazonレビューでは、多くの名前付きエンティティを見つけるべきではありません。私はsentimentを使ったことは一度もありませんが、それは重要ではないと思います。