カスタムソースを使って中国語セグメンタを練習しましょう

Question

私はチャインズセグンターに新しいデータを練習したいと思います。辞書とシリアライズされたツリーバンクのテキストファイルを作成しました。誰かが私を助けることができる

-sighanCorporaDictデータ

と

-trainFile train.txt

：

私の問題は、私は違いに関するドキュメンテーションを理解したり、見つからないということですこの問題があります。私の中国のデータセットは、仏教の古代文章であり、それは-sighanCorporaDictのような資源を置き換えるのを難しくしていますか？

すべてのベスト

アンドレアス

Answer 1

ドキュメントには、独自の中国のセグを訓練するためにここにあります：

https://nlp.stanford.edu/software/segmenter-faq.html

sighanCorporaDictはセグメンタが必要なリソースを持つディレクトリである...これがなければなりません分割配信のdataディレクトリに設定する

trainFileは、適切にセグメント化された文のリスト（スペースで区切られた単語）でなければなりません。