ЛайтГБМ

ЛайтГБМ
Оригинальный автор(ы)	Гуолинь Кэ / Исследования Майкрософт
Разработчики)	Участники Microsoft и LightGBM
Начальная версия	2016 ; 8 лет назад
Стабильная версия	v4.3.0 / 15 января 2024 г .; 5 месяцев назад
Репозиторий	github .с /Microsoft /ЛайтГБМ
Написано в	С++ , Питон , Р , С
Операционная система	Windows , macOS , Linux
Тип	Машинное обучение , повышения градиента платформа
Лицензия	МОЯ лицензия
Веб-сайт	легкий ГБМ .readthedocs .что

LightGBM , сокращение от Light Gradient-Boosting Machine , представляет собой с открытым исходным кодом бесплатную распределенную среду повышения градиента для машинного обучения , первоначально разработанную Microsoft . ^[4]^[5]Он основан на алгоритмах дерева решений и используется для ранжирования , классификации и других задач машинного обучения. Основное внимание при разработке уделяется производительности и масштабируемости.

Обзор [ править ]

Платформа LightGBM поддерживает различные алгоритмы, включая GBT, GBDT , GBRT , GBM , MART. ^[6]^[7] и РФ . ^[8]LightGBM обладает многими преимуществами XGBoost , включая разреженную оптимизацию, параллельное обучение, множественные функции потерь, регуляризацию, группировку и раннюю остановку. Основное различие между ними заключается в конструкции деревьев. LightGBM не выращивает дерево по уровням — строка за строкой — как это делает большинство других реализаций. ^[9]Вместо этого он выращивает деревья по листьям. Он выбирает лист, который, по его мнению, приведет к наибольшему снижению потерь. ^{[ нужна цитата ]} Кроме того, LightGBM не использует широко используемый алгоритм обучения на основе сортированного дерева решений, который ищет лучшую точку разделения по отсортированным значениям признаков. ^[10]как это делают XGBoost или другие реализации. Вместо этого LightGBM реализует высокооптимизированный алгоритм обучения дерева решений на основе гистограмм, который дает большие преимущества как в эффективности, так и в потреблении памяти. ^[11] Алгоритм LightGBM использует два новых метода: одностороннюю выборку на основе градиента (GOSS) и объединение эксклюзивных функций (EFB), которые позволяют алгоритму работать быстрее, сохраняя при этом высокий уровень точности. ^[12]

LightGBM работает в Linux , Windows и macOS и поддерживает C++ , Python , ^[13] R и С# . ^[14] Исходный код доступен под лицензией MIT License и доступен на GitHub . ^[15]

Односторонняя выборка градиента основе на

Односторонняя выборка на основе градиента (GOSS) — это метод, который использует тот факт, что в GBDT нет собственного веса для экземпляра данных. Поскольку экземпляры данных с разными градиентами играют разную роль в вычислении прироста информации, экземпляры с большими градиентами будут вносить больший вклад в прирост информации. Поэтому, чтобы сохранить точность информации, GOSS сохраняет экземпляры с большими градиентами и случайным образом отбрасывает экземпляры с небольшими градиентами. ^[12]

Эксклюзивный набор функций [ править ]

Эксклюзивное объединение функций (EFB) — это практически без потерь метод сокращения количества эффективных функций. В разреженном пространстве признаков многие признаки почти исключаются, что означает, что они редко принимают ненулевые значения одновременно. Функции с горячим кодированием — прекрасный пример эксклюзивных функций. EFB объединяет эти функции, уменьшая размерность для повышения эффективности при сохранении высокого уровня точности. Объединение эксклюзивных функций в одну функцию называется пакетом эксклюзивных функций. ^[12]

См. также [ править ]

Ссылки [ править ]

^ «Голинь Кэ» . Гитхаб .
^ «Майкрософт/ЛайтГБМ» . Гитхаб . 7 июля 2022 г.
^ «Релизы · microsoft/LightGBM» . Гитхаб .
^ Браунли, Джейсон (31 марта 2020 г.). «Повышение градиента с помощью Scikit-Learn, XGBoost, LightGBM и CatBoost» .
^ Копитар, Леон; Кочбек, Примоз; Силар, Леона; Шейх, Азиз; Стиглик, Грегор (20 июля 2020 г.). «Раннее выявление сахарного диабета 2 типа с использованием моделей прогнозирования на основе машинного обучения» . Научные отчеты . 10 (1): 11981. Бибкод : 2020НатСР..1011981К . дои : 10.1038/s41598-020-68771-z . ПМЦ 7371679 . PMID 32686721 – через www.nature.com.
^ «Понимание параметров LightGBM (и способы их настройки)» . neptune.ai . 6 мая 2020 г.
^ «Обзор LightGBM» . аванвик . 16 мая 2018 г.
^ «Параметры — документация LightGBM 3.0.0.99» . Lightgbm.readthedocs.io .
^ Усилители градиента IV: LightGBM - Deep & Shallow
^ Маниш, Мехта; Ракеш, Агравал; Йорма, Риссанен (24 ноября 2020 г.). «SLIQ: быстрый масштабируемый классификатор для интеллектуального анализа данных». Международная конференция по расширению технологий баз данных : 18–32. CiteSeerX 10.1.1.89.7734 .
^ «Функции — документация LightGBM 3.1.0.99» . Lightgbm.readthedocs.io .
^ Перейти обратно: ^а ^б ^с Кэ, Гуолинь; Мэн, Ци; Финли, Томас; Ван, Тайфэн; Чен, Вэй; Ма, Вэйдун; Да, Цивэй; Лю, Те-Янь (2017). «LightGBM: высокоэффективное дерево решений по повышению градиента» . Достижения в области нейронных систем обработки информации . 30 .
^ «lightgbm: Пакет Python LightGBM» . 7 июля 2022 г. – через PyPI.
^ «Пространство имен Microsoft.ML.Trainers.LightGbm» . docs.microsoft.com .
^ «Майкрософт/ЛайтГБМ» . 6 октября 2020 г. – через GitHub.

Дальнейшее чтение [ править ]

Гуолинь Кэ; Ци Мэн; Томас Файнли; Тайфэн Ван; Вэй Чен; Вэйдун Ма; Цивэй Йе; Те-Янь Лю (2017). «LightGBM: высокоэффективное дерево решений по повышению градиента» (PDF) . Нейронная система обработки информации .
Куинто, Бутч (2020). Машинное обучение следующего поколения с помощью Spark — охватывает XGBoost, LightGBM, Spark NLP, распределенное глубокое обучение с Keras и многое другое . Апресс . ISBN 978-1-4842-5668-8 .
ван Вик, Андрич (2023). Машинное обучение с LightGBM и Python . Пакт Паблишинг . ISBN 978-1800564749 .

Внешние ссылки [ править ]

[1] «Голинь Кэ» . Гитхаб .

[2] «Майкрософт/ЛайтГБМ» . Гитхаб . 7 июля 2022 г.

[3] «Релизы · microsoft/LightGBM» . Гитхаб .

[4] Браунли, Джейсон (31 марта 2020 г.). «Повышение градиента с помощью Scikit-Learn, XGBoost, LightGBM и CatBoost» .

[5] Копитар, Леон; Кочбек, Примоз; Силар, Леона; Шейх, Азиз; Стиглик, Грегор (20 июля 2020 г.). «Раннее выявление сахарного диабета 2 типа с использованием моделей прогнозирования на основе машинного обучения» . Научные отчеты . 10 (1): 11981. Бибкод : 2020НатСР..1011981К . дои : 10.1038/s41598-020-68771-z . ПМЦ 7371679 . PMID 32686721 – через www.nature.com.

[6] «Понимание параметров LightGBM (и способы их настройки)» . neptune.ai . 6 мая 2020 г.

[7] «Обзор LightGBM» . аванвик . 16 мая 2018 г.

[8] «Параметры — документация LightGBM 3.0.0.99» . Lightgbm.readthedocs.io .

[9] Усилители градиента IV: LightGBM - Deep & Shallow

[10] Маниш, Мехта; Ракеш, Агравал; Йорма, Риссанен (24 ноября 2020 г.). «SLIQ: быстрый масштабируемый классификатор для интеллектуального анализа данных». Международная конференция по расширению технологий баз данных : 18–32. CiteSeerX 10.1.1.89.7734 .

[11] «Функции — документация LightGBM 3.1.0.99» . Lightgbm.readthedocs.io .

[:0-12] Перейти обратно: ^а ^б ^с Кэ, Гуолинь; Мэн, Ци; Финли, Томас; Ван, Тайфэн; Чен, Вэй; Ма, Вэйдун; Да, Цивэй; Лю, Те-Янь (2017). «LightGBM: высокоэффективное дерево решений по повышению градиента» . Достижения в области нейронных систем обработки информации . 30 .

[13] «lightgbm: Пакет Python LightGBM» . 7 июля 2022 г. – через PyPI.

[14] «Пространство имен Microsoft.ML.Trainers.LightGbm» . docs.microsoft.com .

[15] «Майкрософт/ЛайтГБМ» . 6 октября 2020 г. – через GitHub.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]