Постепенное обучение

В информатике . инкрементальное обучение — это метод машинного обучения , при котором входные данные постоянно используются для расширения знаний существующей модели, то есть для дальнейшего обучения модели Он представляет собой динамический метод контролируемого и неконтролируемого обучения , который можно применять, когда обучающие данные становятся доступными постепенно с течением времени или их размер выходит за пределы системной памяти. Алгоритмы, которые могут способствовать поэтапному обучению, известны как алгоритмы инкрементного машинного обучения.

Многие традиционные алгоритмы машинного обучения по своей сути поддерживают поэтапное обучение. Другие алгоритмы могут быть адаптированы для облегчения постепенного обучения. Примеры дополнительных алгоритмов включают в себя деревья решений (IDE4, ^{[ 1 ]} ИД5Р ^{[ 2 ]} и гэнари ), правила принятия решений , ^{[ 3 ]} искусственные нейронные сети ( сети РФБ , ^{[ 4 ]} Учись++, ^{[ 5 ]} Нечеткое АРТМАП, ^{[ 6 ]} ТопоАРТ, ^{[ 7 ]} и ИГНГ ^{[ 8 ]}) или инкрементная SVM . ^{[ 9 ]}

Цель постепенного обучения состоит в том, чтобы модель обучения адаптировалась к новым данным, не забывая при этом существующие знания. Некоторые инкрементальные обучающиеся имеют встроенные параметры или предположения, которые контролируют релевантность старых данных, в то время как другие, называемые стабильными инкрементными алгоритмами машинного обучения, изучают представления обучающих данных, которые со временем даже частично не забываются. Нечеткое ИСКУССТВО ^{[ 10 ]} и ТопоАРТ ^{[ 7 ]} Вот два примера второго подхода.

Инкрементальные алгоритмы часто применяются к потокам данных или большим данным , решая проблемы доступности данных и нехватки ресурсов соответственно. Прогнозирование биржевых тенденций и профилирование пользователей — вот некоторые примеры потоков данных, в которых новые данные становятся постоянно доступными. Применение поэтапного обучения к большим данным направлено на сокращение времени классификации или прогнозирования .

См. также

Трансдукция (машинное обучение)

Ссылки

^ Шлиммер, Дж. К., и Фишер, Д. Тематическое исследование поэтапной индукции понятий . Пятая национальная конференция по искусственному интеллекту, 496-501. Филадельфия, 1986 год.
^ Утгофф, П.Е., Поэтапная индукция деревьев решений . Машинное обучение, 4(2): 161–186, 1989 г.
^ Феррер-Трояно, Франциско, Хесус С. Агилар-Руис и Хосе К. Рикельме. Постепенное обучение правилам на основе примеров близости из потоков числовых данных . Материалы симпозиума ACM 2005 г. по прикладным вычислениям. АКМ, 2005 г.
^ Бруззоне, Лоренцо и Д. Фернандес Прието. Нейронная сеть с инкрементным обучением для классификации изображений дистанционного зондирования . Письма о распознавании образов: 1241–1248, 1999 г.
^ Р. Поликар, Л. Удпа , С. Удпа, В. Хонавар. Learn++: Алгоритм поэтапного обучения для контролируемых нейронных сетей . Транзакции IEEE по системам, человеку и кибернетике. Университет Роуэн, США, 2001 г.
^ Г. Карпентер, С. Гроссберг, Н. Маркузон, Дж. Рейнольдс, Д. Розен. Fuzzy ARTMAP: архитектура нейронной сети для постепенного контролируемого обучения аналоговых многомерных карт . Транзакции IEEE в нейронных сетях, 1992 г.
^ Перейти обратно: ^а ^б Марко Черепанов, Марко Корткамп и Марк Каммер. Иерархическая сеть ART для стабильного постепенного изучения топологических структур и ассоциаций на основе зашумленных данных. Архивировано 10 августа 2017 г. на Wayback Machine . Нейронные сети, 24(8): 906–916, 2011 г.
^ Жан-Шарль Ламирель, Зид Булила, Маха Гриби и Паскаль Куксак. Новый алгоритм постепенного роста нейронного газа, основанный на максимизации маркировки кластеров: применение к кластеризации гетерогенных текстовых данных . IEA/AIE 2010: Тенденции в области прикладных интеллектуальных систем, 139–148, 2010 г.
^ Диль, Кристофер П. и Герт Каувенбергс. Постепенное обучение, адаптация и оптимизация SVM . Нейронные сети, 2003. Материалы Международной совместной конференции. Том. 4. ИИЭР, 2003.
^ Карпентер Г.А., Гроссберг С. и Розен Д.Б., Fuzzy ART: Быстрое стабильное обучение и категоризация аналоговых паттернов с помощью адаптивной резонансной системы , Neural Networks, 4 (6): 759-771, 1991.

Внешние ссылки

Чарльз Паркер (12 марта 2013 г.). «Краткое введение в потоковую передачу данных и инкрементные алгоритмы» . Блог BigML .
Гепперт, Александр; Хаммер, Барбара (2016). Алгоритмы и приложения поэтапного обучения (PDF) . ЕСАНН . стр. 357–368.
LibTopoART: библиотека программного обеспечения для дополнительных задач обучения.
«Creme: Библиотека для постепенного обучения» . Архивировано из оригинала 3 августа 2019 г.
gaenari: алгоритм инкрементального дерева решений C++
результаты поиска на YouTube

[1] Шлиммер, Дж. К., и Фишер, Д. Тематическое исследование поэтапной индукции понятий . Пятая национальная конференция по искусственному интеллекту, 496-501. Филадельфия, 1986 год.

[2] Утгофф, П.Е., Поэтапная индукция деревьев решений . Машинное обучение, 4(2): 161–186, 1989 г.

[3] Феррер-Трояно, Франциско, Хесус С. Агилар-Руис и Хосе К. Рикельме. Постепенное обучение правилам на основе примеров близости из потоков числовых данных . Материалы симпозиума ACM 2005 г. по прикладным вычислениям. АКМ, 2005 г.

[4] Бруззоне, Лоренцо и Д. Фернандес Прието. Нейронная сеть с инкрементным обучением для классификации изображений дистанционного зондирования . Письма о распознавании образов: 1241–1248, 1999 г.

[5] Р. Поликар, Л. Удпа , С. Удпа, В. Хонавар. Learn++: Алгоритм поэтапного обучения для контролируемых нейронных сетей . Транзакции IEEE по системам, человеку и кибернетике. Университет Роуэн, США, 2001 г.

[6] Г. Карпентер, С. Гроссберг, Н. Маркузон, Дж. Рейнольдс, Д. Розен. Fuzzy ARTMAP: архитектура нейронной сети для постепенного контролируемого обучения аналоговых многомерных карт . Транзакции IEEE в нейронных сетях, 1992 г.

[TopoART-7] Перейти обратно: ^а ^б Марко Черепанов, Марко Корткамп и Марк Каммер. Иерархическая сеть ART для стабильного постепенного изучения топологических структур и ассоциаций на основе зашумленных данных. Архивировано 10 августа 2017 г. на Wayback Machine . Нейронные сети, 24(8): 906–916, 2011 г.

[8] Жан-Шарль Ламирель, Зид Булила, Маха Гриби и Паскаль Куксак. Новый алгоритм постепенного роста нейронного газа, основанный на максимизации маркировки кластеров: применение к кластеризации гетерогенных текстовых данных . IEA/AIE 2010: Тенденции в области прикладных интеллектуальных систем, 139–148, 2010 г.

[9] Диль, Кристофер П. и Герт Каувенбергс. Постепенное обучение, адаптация и оптимизация SVM . Нейронные сети, 2003. Материалы Международной совместной конференции. Том. 4. ИИЭР, 2003.

[Fuzzy_ART-10] Карпентер Г.А., Гроссберг С. и Розен Д.Б., Fuzzy ART: Быстрое стабильное обучение и категоризация аналоговых паттернов с помощью адаптивной резонансной системы , Neural Networks, 4 (6): 759-771, 1991.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]