中国語の単語リストを持っている場合:like reference = ['我'、 '是'、 '好'、 '人'] 、仮説= [「我」、「是」、「善良的」、「人」。私は中国語翻訳のために:nltk.translate.bleu_score.sentence_bleu(参照、仮説)を使用できますか?それは英語と同じですか?日本人はどうですか? 私は英語のような単語リスト(中国語と日本語)があればいいですか。ありがとう!BLEUのスコア:中国語でbleuのスコアを計算するのにnltk.translate.bleu_score.sentence_bleuを使用できますか
1
A
答えて
1
TL; DR
はい。ロング
BLEUスコア措置nグラムや言語に依存しないが、その言語文をトークンに分割することができ、実際にその依存で
。はい、それは中国語/日本語を比較できます。
文章レベルでBLEUスコアを使用する際の注意に注意してください。文章レベルの比較を念頭に置いて作成されたことはありませんでした。ここで素敵な話題があります。https://github.com/nltk/nltk/issues/1838
おそらく、短い文章があると警告が表示されます。
>>> from nltk.translate import bleu
>>> ref = '我 是 好 人'.split()
>>> hyp = '我 是 善良的 人'.split()
>>> bleu([ref], hyp)
/usr/local/lib/python2.7/site-packages/nltk/translate/bleu_score.py:490: UserWarning:
Corpus/Sentence contains 0 counts of 3-gram overlaps.
BLEU scores might be undesirable; use SmoothingFunction().
warnings.warn(_msg)
0.7071067811865475
あなたは短い文章を克服するためにhttps://github.com/alvations/nltk/blob/develop/nltk/translate/bleu_score.py#L425に平滑化機能を使用することができます。
>>> from nltk.translate.bleu_score import SmoothingFunction
>>> smoothie = SmoothingFunction().method4
>>> bleu([ref], hyp, smoothing_function=smoothie)
0.2866227639866161
+0
ありがとう@ alvasあなたはとても親切です!あなたの答えに基づいて、corpus_bleuは同じです。 – tktktk0711
関連する問題
- 1. BLEUスコアのバリエーション
- 2. seq2seq_modelのattentionデコーダの注意値にアクセスしてbleuスコアをプロットする方法
- 3. BLEUスコアを計算するための翻訳データ(参照データと候補データを含む)がありますか?
- 4. スコアのスピードを計算するには?
- 5. Google PageSpeedスコア計算
- 6. 合計スコアにスコアを追加する
- 7. 各生徒の合計スコアを計算して保存し、クラス全体の平均スコアを計算します。
- 8. Jawbone Appでの食物スコアの計算
- 9. .NETのtスコアからパーセンタイルを計算
- 10. Apache SparkでのJaro-Winklerスコア計算
- 11. スコア計算上の差を解決しながらスコアを説明する
- 12. Luceneを使用してTFIDFスコアを計算する
- 13. スコア計算でテキストの長さを無視するElasticsearch
- 14. CheckBoxでシンプルクイズアプリケーションの正しいスコアを計算する
- 15. シャドー変数を使用したスコア計算のパフォーマンス
- 16. データ房で計算Zスコアが、NA
- 17. ストアドプロシージャの加重(ベイジアン)平均スコア/インデックスを計算しますか?
- 18. 何かが本当であればスコアを計算する
- 19. LuceneのNullPointerException TF-IDFスコア計算ツール
- 20. パンダのデータフレームにおけるローリングzスコアを計算する
- 21. 機械学習:バイナリラベルの精度スコアを計算すると、精度スコアが低くなりますか?
- 22. pysparkでMultiClassMetricsを使用してfスコアを計算する方法は?
- 23. ランクの位置に基づいてスコアを計算する
- 24. 大きさとスコアの値で全体的な感情を計算します
- 25. sklearnを使ってF1スコアを計算する
- 26. Django - 複数のJOINを使用して平均スコアを計算する
- 27. sklearn:テストデータセットのk-meansの精度スコアを計算する
- 28. SklearnのF1スコアを正しく計算する
- 29. 複数ファイルの可読性スコアを計算するR
- 30. PHP/MySql - スコアの場所を計算する
なぜあなた自身で試してみませんでしたか? =( – alvas