Слабый надзор
Слабое супервизирование — парадигма в машинном обучении , актуальность и заметность которой возросли с появлением больших языковых моделей из-за большого объёма данных, необходимых для их обучения. Он характеризуется использованием комбинации небольшого количества данных, размеченных человеком (используемых исключительно в более дорогой и трудоемкой парадигме обучения с учителем ), за которым следует большой объем немаркированных данных (используемых исключительно в парадигме обучения без учителя ). Другими словами, желаемые выходные значения предоставляются только для подмножества обучающих данных. Остальные данные не помечены или помечены неточно. Интуитивно это можно рассматривать как экзамен, а данные помечать как примеры задач, которые учитель решает для класса в качестве помощи в решении другого набора задач. В трансдуктивной обстановке эти нерешенные проблемы действуют как экзаменационные вопросы. В индуктивном режиме они становятся практическими задачами, которые и составляют экзамен. Технически это можно рассматривать как выполнение кластеризации с последующей маркировкой кластеров помеченными данными, отодвигание границы принятия решения от областей с высокой плотностью или изучение базового одномерного многообразия, в котором находятся данные.
Проблема
[ редактировать ]Часть серии о |
Машинное обучение и интеллектуальный анализ данных |
---|
Для получения размеченных данных для задачи обучения часто требуется квалифицированный человеческий агент (например, для расшифровки аудиосегмента) или физический эксперимент (например, определение трехмерной структуры белка или определение наличия масла в определенном месте). Таким образом, стоимость, связанная с процессом маркировки, может сделать невозможным создание больших, полностью маркированных обучающих наборов, тогда как получение немаркированных данных обходится относительно недорого. В таких ситуациях полуконтролируемое обучение может иметь большую практическую ценность. Обучение с полуконтролем также представляет теоретический интерес в машинном обучении и в качестве модели человеческого обучения.
Техника
[ редактировать ]Более формально, полуконтролируемое обучение предполагает набор независимо одинаково распределенные примеры с соответствующими метками и немаркированные примеры обрабатываются. Полуконтролируемое обучение объединяет эту информацию, чтобы превзойти эффективность классификации , которую можно получить либо путем отбрасывания немаркированных данных и выполнения контролируемого обучения, либо путем отказа от меток и выполнения неконтролируемого обучения.
Обучение с полуконтролем может относиться либо к трансдуктивному обучению , либо к индуктивному обучению . [ 1 ] Цель трансдуктивного обучения — найти правильные метки для данных немаркированных данных. только. Цель индуктивного обучения — вывести правильное отображение из к .
Нет необходимости (и, согласно принципу Вапника , неосмотрительно) выполнять трансдуктивное обучение путем вывода правила классификации по всему входному пространству; однако на практике алгоритмы, формально разработанные для трансдукции или индукции, часто используются как взаимозаменяемые.
Предположения
[ редактировать ]Чтобы можно было использовать немаркированные данные, должна существовать некоторая связь с основным распределением данных. Алгоритмы полуконтролируемого обучения используют по крайней мере одно из следующих допущений: [ 2 ]
Предположение непрерывности/гладкости
[ редактировать ]Точки, расположенные близко друг к другу, с большей вероятностью будут иметь одну и ту же метку. Это также обычно предполагается при обучении с учителем и дает предпочтение геометрически простым границам решений . В случае полуконтролируемого обучения предположение о гладкости дополнительно дает предпочтение границам решений в регионах с низкой плотностью, поэтому несколько точек находятся близко друг к другу, но в разных классах. [ 3 ]
Кластерное предположение
[ редактировать ]Данные имеют тенденцию образовывать дискретные кластеры, и точки в одном кластере с большей вероятностью будут иметь общую метку (хотя данные, имеющие общую метку, могут распространяться по нескольким кластерам). Это частный случай предположения о гладкости, который приводит к обучению признаков с помощью алгоритмов кластеризации.
Многообразное предположение
[ редактировать ]Данные лежат приблизительно на многообразии гораздо меньшей размерности, чем входное пространство. В этом случае изучение многообразия с использованием как размеченных, так и неразмеченных данных может избежать проклятия размерности . Затем обучение может продолжиться с использованием расстояний и плотностей, определенных на многообразии.
Предположение о многообразии практично, когда многомерные данные генерируются каким-либо процессом, который сложно смоделировать напрямую, но который имеет лишь несколько степеней свободы. Например, человеческий голос контролируется несколькими голосовыми связками. [ 4 ] а изображения различных выражений лица контролируются несколькими мышцами. В этих случаях расстояния и гладкость лучше рассматривать в естественном пространстве порождающей задачи, а не в пространстве всех возможных акустических волн или изображений соответственно.
История
[ редактировать ]Эвристический подход к самообучению (также известный как самообучение или самомаркировка ) исторически является старейшим подходом к полуконтролируемому обучению. [ 2 ] с примерами приложений, начиная с 1960-х годов. [ 5 ]
Трансдуктивная система обучения была официально представлена Владимиром Вапником в 1970-х годах. [ 6 ] Интерес к индуктивному обучению с использованием генеративных моделей также возник в 1970-х годах. обучение Вероятно, приблизительно правильное , связанное с полуконтролируемым обучением гауссовой смеси , было продемонстрировано Рацаби и Венкатешем в 1995 году. [ 7 ]
Методы
[ редактировать ]Генеративные модели
[ редактировать ]Генеративные подходы к статистическому обучению в первую очередь направлены на оценку , [ оспаривается – обсуждаем ] распределение точек данных, принадлежащих каждому классу. Вероятность что данная точка есть этикетка тогда пропорционально по правилу Байеса . Полуконтролируемое обучение с использованием генеративных моделей можно рассматривать либо как расширение контролируемого обучения (классификация плюс информация о ) или как расширение обучения без учителя (кластеризация плюс некоторые метки).
Генеративные модели предполагают, что распределения принимают определенную форму. параметризованный вектором . Если эти предположения неверны, неразмеченные данные могут фактически снизить точность решения по сравнению с тем, что было бы получено только из размеченных данных. [ 8 ] Однако если предположения верны, то немаркированные данные обязательно улучшат производительность. [ 7 ]
Немаркированные данные распределяются в соответствии со смесью распределений отдельных классов. Чтобы узнать распределение смеси по немаркированным данным, оно должно быть идентифицируемым, то есть разные параметры должны давать разные суммарные распределения. Распределения гауссовской смеси легко идентифицировать и обычно используются для генеративных моделей.
Параметризованное совместное распределение можно записать как используя цепное правило . Каждый вектор параметров связан с функцией решения . Затем параметр выбирается на основе соответствия как размеченным, так и неразмеченным данным, взвешенным по :
Сепарация низкой плотности
[ редактировать ]Другой основной класс методов пытается разместить границы в регионах с небольшим количеством точек данных (помеченных или неразмеченных). Одним из наиболее часто используемых алгоритмов является трансдуктивная машина опорных векторов , или TSVM (которая, несмотря на свое название, также может использоваться для индуктивного обучения). В то время как машины опорных векторов для контролируемого обучения ищут границу решения с максимальным запасом по помеченным данным, целью TSVM является маркировка немаркированных данных так, чтобы граница решения имела максимальный запас по всем данным. В дополнение к стандартной потере шарнира для помеченных данных функция потерь вводится в немаркированные данные, позволяя . Затем TSVM выбирает из воспроизводящего ядра гильбертова пространства минимизируя регуляризованный эмпирический риск :
Точное решение трудно найти из-за невыпуклости члена , поэтому исследования сосредоточены на полезных приближениях. [ 9 ]
Другие подходы, реализующие разделение с низкой плотностью, включают модели гауссовских процессов, регуляризацию информации и минимизацию энтропии (особым случаем является TSVM).
Лапласова регуляризация
[ редактировать ]К лапласовой регуляризации исторически подходили через граф-лапласиан. Методы на основе графов для полуконтролируемого обучения используют графическое представление данных с узлом для каждого помеченного и неразмеченного примера. Граф может быть построен с использованием знаний предметной области или подобия примеров; два распространенных метода — соединить каждую точку данных с ее ближайшие соседи или примеры на некотором расстоянии . Вес края между и затем устанавливается на .
В рамках регуляризации многообразной [ 10 ] [ 11 ] граф служит прокси для многообразия. добавляется термин, К стандартной задаче регуляризации Тихонова обеспечивающий гладкость решения относительно многообразия (во внутреннем пространстве задачи), а также относительно окружающего входного пространства. Задача минимизации становится
где является воспроизводящим ядерным гильбертовым пространством и — это многообразие, на котором лежат данные. Параметры регуляризации и гладкость управления в окружающем и внутреннем пространствах соответственно. График используется для аппроксимации внутреннего члена регуляризации. Определение графа Лапласа где и вектор , у нас есть
- .
Основанный на графах подход к регуляризации Лапласа должен быть сопоставлен с методом конечных разностей . [ нужны разъяснения ] [ нужна ссылка ]
Лапласиан также можно использовать для расширения алгоритмов обучения с учителем: регуляризованных методов наименьших квадратов и машин опорных векторов (SVM) до полуконтролируемых версий регуляризованных алгоритмов наименьших квадратов Лапласа и лапласианских SVM.
Эвристические подходы
[ редактировать ]Некоторые методы полуконтролируемого обучения по своей сути не предназначены для обучения как на немаркированных, так и на маркированных данных, а вместо этого используют немаркированные данные в рамках контролируемого обучения. Например, маркированные и немаркированные примеры может сообщить о выборе представления, метрики расстояния или ядра для данных на неконтролируемом первом этапе. Тогда обучение с учителем происходит только на отмеченных примерах. В этом ключе некоторые методы изучают низкоразмерное представление с использованием контролируемых данных, а затем применяют к изученному представлению либо разделение с низкой плотностью, либо методы на основе графов. [ 12 ] [ 13 ] Итеративное уточнение представления, а затем выполнение полуконтролируемого обучения для указанного представления может еще больше повысить производительность.
Самообучение — это метод-оболочка полуконтролируемого обучения. [ 14 ] Сначала алгоритм обучения с учителем обучается только на основе помеченных данных. Затем этот классификатор применяется к немаркированным данным для создания большего количества помеченных примеров в качестве входных данных для алгоритма обучения с учителем. Обычно на каждом этапе добавляются только те метки, в которых классификатор наиболее уверен. [ 15 ] При обработке естественного языка распространенным алгоритмом самообучения является алгоритм Яровского для решения таких задач, как устранение неоднозначности смысла слов, восстановление акцента и исправление орфографии. [ 16 ]
Совместное обучение — это расширение самообучения, при котором несколько классификаторов обучаются на разных (в идеале непересекающихся) наборах функций и генерируют помеченные примеры друг для друга. [ 17 ]
В человеческом познании
[ редактировать ]Реакция человека на формальные проблемы обучения с полуконтролем привела к различным выводам о степени влияния немаркированных данных. [ 18 ] Более естественные проблемы обучения также можно рассматривать как примеры обучения под учителем. Большая часть обучения человеческим понятиям включает в себя небольшое количество прямых инструкций (например, родительское обозначение объектов в детстве) в сочетании с большим количеством немаркированного опыта (например, наблюдение за объектами без их называния или подсчета или, по крайней мере, без обратной связи).
Человеческие младенцы чувствительны к структуре немаркированных природных категорий, таких как изображения собак и кошек или мужских и женских лиц. [ 19 ] Младенцы и дети принимают во внимание не только немаркированные примеры, но и процесс отбора проб , в результате которого возникают маркированные примеры. [ 20 ] [ 21 ]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Опрос литературы для полуконтролируемого обучения, страница 5 , 2007 г., CiteSeerX 10.1.1.99.9681
- ^ Jump up to: а б Шапель, Шёлкопф и Зиен, 2006 г.
- ^ Чавла, Н., Бойер, К., Холл, ЛО, и Кегельмейер, WP (2002). SMOTE: Техника избыточной выборки синтетического меньшинства. ArXiv, абс/1106.1813.
- ^ Стивенс, Кеннет Н. (1998). Акустическая фонетика . Кембридж, Массачусетс: MIT Press. ISBN 0-585-08720-2 . OCLC 42856189 .
- ^ Скаддер, Х. (июль 1965 г.). «Вероятность ошибки некоторых адаптивных машин распознавания образов». Транзакции IEEE по теории информации . 11 (3): 363–371. дои : 10.1109/TIT.1965.1053799 . ISSN 1557-9654 .
- ^ Вапник, В.; Червоненкис, А. (1974). Теория распознавания образов . Москва: Наука. цитируется по Chapelle, Schölkopf & Zien 2006 , p. 3
- ^ Jump up to: а б Рэтсаби, Дж.; Венкатеш, С. «Обучение на смеси помеченных и немаркированных примеров с параметрической дополнительной информацией» (PDF) . в Материалы восьмой ежегодной конференции по теории вычислительного обучения - COLT '95 . Нью-Йорк, Нью-Йорк, США: ACM Press. 1995. стр. 412–417. дои : 10.1145/225298.225348 . ISBN 0-89791-723-5 . S2CID 17561403 . . Цитируется по Chapelle, Schölkopf & Zien 2006 , с. 4
- ^ Фабио, Козман; Ира, Коэн (22 сентября 2006 г.), «Риски полуконтролируемого обучения: как немаркированные данные могут ухудшить производительность генеративных классификаторов», Полуконтролируемое обучение , MIT Press, стр. 56–72, doi : 10.7551/mitpress /9780262033589.003.0004 , ISBN 978-0-262-03358-9 В: Chapelle, Schölkopf & Zien, 2006 г.
- ^ Jump up to: а б с Чжу, Сяоцзинь. Университет полуконтролируемого обучения Висконсин-Мэдисон.
- ^ М. Белкин; П. Нийоги (2004). «Полуконтролируемое обучение на римановых многообразиях» . Машинное обучение . 56 (Специальный выпуск по кластеризации): 209–239. doi : 10.1023/b:mach.0000033120.25363.1e .
- ^ М. Белкин, П. Нийоги, В. Синдхвани. О регуляризации многообразий. АЙСТАТС 2005.
- ^ Искен, Ахмет; Толиас, Гиоргос; Авритис, Яннис; Чум, Ондрей (2019). «Распространение меток для глубокого полуконтролируемого обучения» . Конференция IEEE/CVF 2019 по компьютерному зрению и распознаванию образов (CVPR) . стр. 5065–5074. arXiv : 1904.04717 . дои : 10.1109/CVPR.2019.00521 . ISBN 978-1-7281-3293-8 . S2CID 104291869 . Проверено 26 марта 2021 г.
- ^ Беркхарт, Майкл С.; Шан, Кайл (2020). «Глубокое разделение низкой плотности для полуконтролируемой классификации». Международная конференция по вычислительной науке (ICCS) . Конспекты лекций по информатике. Том. 12139. стр. 297–311. arXiv : 2205.11995 . дои : 10.1007/978-3-030-50420-5_22 . ISBN 978-3-030-50419-9 .
- ^ Тригеро, Исаак; Гарсия, Сальвадор; Эррера, Франциско (26 ноября 2013 г.). «Самомаркированные методы обучения с полуконтролем: таксономия, программное обеспечение и эмпирическое исследование». Знания и информационные системы . 42 (2): 245–284. дои : 10.1007/s10115-013-0706-y . ISSN 0219-1377 . S2CID 1955810 .
- ^ Фазакис, Никос; Карлос, Стаматис? Коциантис, Сотирис; Сгарбас, Кириакос (29 декабря 2015 г.). «Самообучающийся LMT для обучения с полуконтролем» . Вычислительный интеллект и нейронаука . 2016 : 3057481. doi : 10.1155/2016/3057481 . ПМК 4709606 . ПМИД 26839531 .
- ^ Яровский, Дэвид (1995). «Неконтролируемое устранение смысловой неоднозначности, конкурирующее с контролируемыми методами» . Материалы 33-го ежегодного собрания Ассоциации компьютерной лингвистики . Кембридж, Массачусетс: Ассоциация компьютерной лингвистики: 189–196. дои : 10.3115/981658.981684 . Проверено 1 ноября 2022 г.
- ^ Дидачи, Лука; Фумера, Джорджио; Роли, Фабио (07 ноября 2012 г.). Гимельфарб, Георгий; Хэнкок, Эдвин; Имия, Ацуши; Куйпер, Арьян; Кудо, Минеичи; Омати, Шиничиро; Виндетт, Терри; Ямада, Кейджи (ред.). Анализ алгоритма совместного обучения с очень маленькими обучающими наборами . Конспекты лекций по информатике. Шпрингер Берлин Гейдельберг. стр. 719–726. дои : 10.1007/978-3-642-34166-3_79 . ISBN 9783642341656 . S2CID 46063225 .
- ^ Чжу, Сяоцзинь (2009). Введение в полуконтролируемое обучение . Гольдберг, AB (Эндрю Б.). [Сан-Рафаэль, Калифорния]: Morgan & Claypool Publishers. ISBN 978-1-59829-548-1 . OCLC 428541480 .
- ^ Младший бакалавр; Боясь ДД (1999). «Разбор предметов на отдельные категории: изменения в классификации младенцев в процессе развития». Развитие ребенка . 70 (2): 291–303. дои : 10.1111/1467-8624.00022 .
- ^ Сюй Ф. и Тененбаум Дж. Б. (2007). «Чувствительность к выборке при байесовском изучении слов». Наука развития . 10 (3): 288–297. CiteSeerX 10.1.1.141.7505 . дои : 10.1111/j.1467-7687.2007.00590.x . ПМИД 17444970 .
- ^ Гвеон Х., Тененбаум Дж.Б. и Шульц Л.Е. (2010). «Младенцы рассматривают как образец, так и процесс выборки при индуктивном обобщении» . Proc Natl Acad Sci США . 107 (20): 9066–71. Бибкод : 2010PNAS..107.9066G . дои : 10.1073/pnas.1003095107 . ПМЦ 2889113 . ПМИД 20435914 .
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка )
Источники
[ редактировать ]- Шапель, Оливье; Шёлкопф, Бернхард; Зиен, Александр (2006). Полуконтролируемое обучение . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-03358-9 .
Внешние ссылки
[ редактировать ]- Регуляризация многообразия. Свободно доступная реализация MATLAB основанных на графах полуконтролируемых алгоритмов. Машины опорных векторов Лапласа и регуляризованные лапласовские методы наименьших квадратов.
- KEEL: программный инструмент для оценки эволюционных алгоритмов для задач интеллектуального анализа данных (регрессия, классификация, кластеризация, анализ шаблонов и т. д.). Модуль KEEL для полуконтролируемого обучения.
- Программное обеспечение для полуконтролируемого обучения
- Полуконтролируемое обучение — документация scikit-learn Полуконтролируемое обучение в scikit-learn .