Оценки дисперсии складного ножа для случайного леса

В статистике оценки дисперсии складного ножа для случайного леса - это способ оценить дисперсию в моделях случайного леса , чтобы устранить эффекты начальной загрузки .

Оценки дисперсии складного ножа

Выборочная дисперсия учащихся, собранных в пакеты, составляет:

$V(x)=Var[{\hat {\theta }}^{\infty }(x)]$

Оценки складного ножа можно рассматривать для устранения эффектов начальной загрузки. Оценщик дисперсии складного ножа определяется как:

${\hat {V}}_{j}={\frac {n-1}{n}}\sum _{i=1}^{n}({\hat {\theta }}_{(-i)}-{\overline {\theta }})^{2}$

В некоторых задачах классификации, когда для подбора моделей используется случайный лес, дисперсия оценки складного ножа определяется как:

${\hat {V}}_{j}={\frac {n-1}{n}}\sum _{i=1}^{n}({\overline {t}}_{(-i)}^{\star }(x)-{\overline {t}}^{\star }(x))^{2}$

Здесь, $t^{\star }$обозначает дерево решений после обучения, $t_{(-i)}^{\star }$ обозначает результат, основанный на образцах без $ith$ наблюдение.

Примеры

Проблема спама в электронной почте является распространенной проблемой классификации . В этой задаче для классификации спама и электронной почты, не являющейся спамом, используются 57 функций. Применение формулы дисперсии IJ-U для оценки точности моделей с m = 15,19 и 57. Результаты показывают в статье (Доверительные интервалы для случайных лесов: складной нож и бесконечно малый складной нож), что случайный лес m = 57 кажется вполне нестабильный, в то время как прогнозы, сделанные с помощью случайного леса m = 5, кажутся вполне стабильными, этот результат соответствует оценке, сделанной по проценту ошибок, в которой точность модели с m = 5 высока, а m = 57 низка.

Здесь точность измеряется коэффициентом ошибок, который определяется как:

$ErrorRate={\frac {1}{N}}\sum _{i=1}^{N}\sum _{j=1}^{M}y_{ij},$

Здесь N — также количество образцов, M — количество классов, $y_{ij}$ – индикаторная функция, равная 1, когда $ith$ наблюдение находится в классе j, равно 0 в других классах. Вероятность здесь не рассматривается. Существует еще один метод, аналогичный коэффициенту ошибок для измерения точности:

$logloss={\frac {1}{N}}\sum _{i=1}^{N}\sum _{j=1}^{M}y_{ij}log(p_{ij})$

Здесь N — количество образцов, M — количество классов, $y_{ij}$ – индикаторная функция, равная 1, когда $ith$ наблюдение находится в классе j, равно 0 в других классах. $p_{ij}$ прогнозируемая вероятность $ith$ наблюдение в классе $j$.Этот метод используется в Kaggle Эти два метода очень похожи.

Модификация для смещения

При использовании MSE Монте-Карло для оценки $V_{IJ}^{\infty }$ и $V_{J}^{\infty }$, следует рассмотреть проблему смещения Монте-Карло, особенно когда n велико, смещение становится большим:

$E[{\hat {V}}_{IJ}^{B}]-{\hat {V}}_{IJ}^{\infty }\approx {\frac {n\sum _{b=1}^{B}(t_{b}^{\star }-{\bar {t}}^{\star })^{2}}{B}}$

Чтобы устранить это влияние, предлагаются модификации с коррекцией смещения:

${\hat {V}}_{IJ-U}^{B}={\hat {V}}_{IJ}^{B}-{\frac {n\sum _{b=1}^{B}(t_{b}^{\star }-{\bar {t}}^{\star })^{2}}{B}}$

${\hat {V}}_{J-U}^{B}={\hat {V}}_{J}^{B}-(e-1){\frac {n\sum _{b=1}^{B}(t_{b}^{\star }-{\bar {t}}^{\star })^{2}}{B}}$