Krichevsky–Trofimov estimator

В теории информации , учитывая неизвестный стационарный источник π с алфавитом A и выборку w из π , оценщик Кричевского-Трофимова (КТ) оценку p _i ( w ) вероятности каждого символа i ∈ A. дает в худшем случае Эта оценка оптимальна в том смысле, что она асимптотически минимизирует сожаление .

Для двоичного алфавита и строки w с m нулями и n единицами оценка КТ p _i ( w ) определяется как:

${\begin{aligned}p_{0}(w)&={\frac {m+1/2}{m+n+1}},\\[5pt]p_{1}(w)&={\frac {n+1/2}{m+n+1}}.\end{aligned}}$

Это соответствует апостериорному среднему апостериорному распределению Бета-Бернулли с предшествующим $1/2$. В общем случае оценка производится с использованием категориального распределения Дирихле .

См. также

• Правило наследования
• Байесовский вывод с использованием сопряженных априорных значений для категориального распределения