НИСТ (метрический)
NIST — это метод оценки качества текста, переведенного с помощью машинного перевода . США Его название происходит от Национального института стандартов и технологий .
Он основан на метрике BLEU , но с некоторыми изменениями. Там, где BLEU просто вычисляет точность n-грамм, добавляя к каждому из них одинаковый вес, NIST также вычисляет, насколько информативна конкретная n-грамма . То есть, когда правильная n-грамма , чем реже эта n-грамма, тем больший вес ей будет присвоен. найдена [1]
Например, если биграмма «на» сопоставлена правильно, она получит меньший вес, чем правильное сопоставление биграммы «интересные расчеты», так как это произойдет с меньшей вероятностью.
NIST также отличается от BLEU в расчете штрафа за краткость, поскольку небольшие изменения в длине перевода не так сильно влияют на общий балл.
См. также
[ редактировать ]- СИНИЙ
- F-мера
- МЕТЕОР
- Разделение существительных-фраз
- РУМЯНА (метрическая)
- Коэффициент ошибок в словах (WER)
Ссылки
[ редактировать ]- ^ «Автоматическая оценка качества машинного перевода с использованием статистики совпадения N-грамм» (PDF) . Проверено 17 апреля 2010 г.
Официальные результаты оценки машинного перевода NIST 2005 г.