ЛогитБуст

В области машинного обучения и теории вычислительного обучения , LogitBoost — это алгоритм повышения сформулированный Джеромом Фридманом , Тревором Хасти и Робертом Тибширани .

В оригинальной статье алгоритм AdaBoost представлен в статистической структуре. В частности, если рассматривать AdaBoost как обобщенную аддитивную модель , а затем применять функцию стоимости логистической регрессии , можно получить алгоритм LogitBoost.

Минимизация функции стоимости LogitBoost

LogitBoost можно рассматривать как выпуклую оптимизацию . В частности, учитывая, что мы ищем аддитивную модель вида

$f=\sum _{t}\alpha _{t}h_{t}$

Алгоритм LogitBoost минимизирует логистические потери :

$\sum _{i}\log \left(1+e^{-y_{i}f(x_{i})}\right)$

См. также

• Повышение градиента
• Дерево логистической модели