XGBoost

XGBoost

Разработчик(и)	Участники XGBoost
Первоначальный выпуск	27 марта 2014 г ( 27.03.2014 )
Стабильная версия	2.0.3   / 19 декабря 2023 г ( 19 декабря 2023 г. )
Репозиторий	github .с /dmlc /xgboost
Написано в	С++
Операционная система	Linux , macOS , Microsoft Windows
Тип	Машинное обучение
Лицензия	Лицензия Апач 2.0
Веб-сайт	xgboost .есть

XGBoost (eXtreme Gradient Boosting) — это с открытым исходным кодом программная библиотека , которая предоставляет структуру регуляризации повышения градиента для C++ , Java , Python , Р , Юля , Перл , и Скала . Работает в Linux , Microsoft Windows , и macOS . Судя по описанию проекта, он направлен на создание «Масштабируемой, портативной и распределенной библиотеки повышения градиента (GBM, GBRT, GBDT)». Он работает на одной машине, а также на платформах распределенной обработки Apache Hadoop , Apache Spark , Apache Flink и Dask .

XGBoost приобрел большую популярность и внимание в середине 2010-х годов как алгоритм, который выбирают многие команды-победители соревнований по машинному обучению.

История

XGBoost изначально начинался как исследовательский проект Тяньци Чена. в составе группы Distributed (Deep) Machine Learning Community (DMLC). Первоначально он начинался как терминальное приложение, которое можно было настроить с помощью файла конфигурации libsvm . Он стал широко известен в кругах участников соревнований по машинному обучению после того, как был использован в победившем решении задачи машинного обучения Хиггса . Вскоре после этого были созданы пакеты Python и R, и теперь у XGBoost есть реализации пакетов для Java, Scala , Julia, Perl и других языков. Это привлекло к библиотеке больше разработчиков и способствовало ее популярности среди сообщества Kaggle , где она использовалась для большого количества соревнований.

Вскоре он был интегрирован с рядом других пакетов, что упростило его использование в соответствующих сообществах. Теперь он интегрирован с scikit-learn для пользователей Python и с пакетом Caret для R. пользователей Его также можно интегрировать в инфраструктуры потока данных, такие как Apache Spark , Apache Hadoop и Apache Flink , используя абстрактную среду Rabit. и XGBoost4J. XGBoost также доступен на OpenCL для FPGA . Эффективная масштабируемая реализация XGBoost была опубликована Тяньци Ченом и Карлосом Гестрином.

Хотя модель XGBoost часто обеспечивает более высокую точность, чем одно дерево решений, она жертвует внутренней интерпретируемостью деревьев решений. Например, проследить путь, по которому дерево решений принимает решение, тривиально и самоочевидно, но следовать путям сотен или тысяч деревьев гораздо сложнее.

Функции

Существенные особенности XGBoost, которые отличают его от других алгоритмов повышения градиента, включают:

• Умное наказание деревьев
• Пропорциональное сокращение листовых узлов.
• Повышение Ньютона
• Дополнительный рандомизации параметр
• Реализация в одиночных распределенных системах и внеядерных вычислениях.
• Автоматический выбор функции
• Теоретически обоснованное взвешенное квантильное эскизирование для эффективных вычислений
• Повышение параллельной древовидной структуры за счет разреженности
• Эффективная кэшируемая блочная структура для обучения дерева решений.

Алгоритм

XGBoost работает как Ньютон-Рафсон в функциональном пространстве, в отличие от повышения градиента второго порядка , которое работает как градиентный спуск в функциональном пространстве, в функции потерь используется аппроксимация Тейлора для связи с методом Ньютона-Рафсона.

Общий нерегуляризованный алгоритм XGBoost:

Входные данные: обучающий набор. $\{(x_{i},y_{i})\}_{i=1}^{N}$, дифференцируемая функция потерь $L(y,F(x))$, много слабых учеников $M$ и скорость обучения $\alpha$.

Алгоритм:

1. Инициализируйте модель постоянным значением: $${\hat {f}}_{(0)}(x)={\underset {\theta }{\arg \min }}\sum _{i=1}^{N}L(y_{i},\theta ).$$
2. Для m = 1 до M :
   1. Вычислите «градиенты» и «гессианы»: $${\begin{aligned}{\hat {g}}_{m}(x_{i})&=\left[{\frac {\partial L(y_{i},f(x_{i}))}{\partial f(x_{i})}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.\\{\hat {h}}_{m}(x_{i})&=\left[{\frac {\partial ^{2}L(y_{i},f(x_{i}))}{\partial f(x_{i})^{2}}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.\end{aligned}}$$
   2. Подберите базового учащегося (или слабого учащегося, например, дерева), используя обучающий набор. $\left\{x_{i},{\dfrac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right\}_{i=1}^{N}$ решив задачу оптимизации ниже: $${\hat {\phi }}_{m}={\underset {\phi \in \mathbf {\Phi } }{\arg \min }}\sum _{i=1}^{N}{\frac {1}{2}}{\hat {h}}_{m}(x_{i})\left[\phi (x_{i})-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right]^{2}.$$ $${\hat {f}}_{m}(x)=\alpha {\hat {\phi }}_{m}(x).$$
   3. Обновите модель: $${\hat {f}}_{(m)}(x)={\hat {f}}_{(m-1)}(x)+{\hat {f}}_{m}(x).$$
3. Выход ${\hat {f}}(x)={\hat {f}}_{(M)}(x)=\sum _{m=0}^{M}{\hat {f}}_{m}(x).$

Награды

• Джона Чемберса Премия (2016)
• Физика высоких энергий соответствует награде за машинное обучение (HEP соответствует ML) (2016 г.)

См. также

• ЛайтГБМ
• CatBoost