Трансферное обучение
Трансферное обучение ( TL ) — это метод машинного обучения (ML), при котором знания, полученные из задачи, повторно используются для повышения производительности связанной задачи. [1] Например, для классификации изображений знания, полученные при обучении распознаванию автомобилей, можно применить при попытке распознавать грузовики. Эта тема связана с психологической литературой по передаче обучения , хотя практические связи между этими двумя областями ограничены. Повторное использование/перенос информации из ранее изученных задач в новые задачи может значительно повысить эффективность обучения. [2]
Поскольку в трансферном обучении используется обучение с несколькими целевыми функциями, оно связано с экономически чувствительным машинным обучением и многоцелевой оптимизацией . [3]
История [ править ]
В 1976 году Божиновский и Фулгози опубликовали статью, посвященную трансферному обучению при обучении нейронных сетей . [4] [5] В статье представлена математическая и геометрическая модель темы. В 1981 году в отчете рассматривалось применение трансферного обучения к набору изображений, представляющих буквы компьютерных терминалов, экспериментально демонстрируя положительное и отрицательное трансферное обучение. [6]
В 1992 году Лориен Пратт сформулировал алгоритм передачи на основе различимости (DBT). [7]
К 1998 году эта область продвинулась вперед и стала включать в себя многозадачное обучение , [8] наряду с более формальными теоретическими основами. [9] Влиятельные публикации по трансферному обучению включают книгу « Учимся учиться» , вышедшую в 1998 году. [10] опрос 2009 года [11] и опрос 2019 года. [12]
Нг сказал в своем руководстве NIPS 2016: [13] [14] что TL станет следующим драйвером коммерческого успеха машинного обучения после обучения с учителем .
В статье 2020 года «Переосмысление предварительной подготовки и самоподготовки» [15] Зоф и др. сообщили, что предварительная тренировка может повредить точности, и вместо этого рекомендуют самообучение.
Приложения [ править ]
Доступны алгоритмы для трансферного обучения в логических сетях Маркова. [16] и байесовские сети . [17] Трансферное обучение было применено для обнаружения подтипов рака. [18] эксплуатация здания , [19] [20] общая игра , [21] классификация текста , [22] [23] распознавание цифр, [24] медицинская визуализация и фильтрация спама . [25]
В 2020 году было обнаружено, что из-за их схожей физической природы возможно перенос обучения между электромиографическими (ЭМГ) сигналами от мышц и классификацией поведения электроэнцефалографических (ЭЭГ) мозговых волн из области распознавания жестов в область распознавания психического состояния. . Было отмечено, что эта связь работает в обоих направлениях, показывая, что электроэнцефалографию также можно использовать для классификации ЭМГ. [26] В ходе экспериментов было отмечено, что точность нейронных сетей и сверточных нейронных сетей улучшилась. [27] посредством трансферного обучения как до любого обучения (по сравнению со стандартным случайным распределением весов), так и в конце процесса обучения (асимптота). То есть результаты улучшаются за счет воздействия на другую область. Более того, конечный пользователь предварительно обученной модели может изменить структуру полностью связанных слоев для повышения производительности. [28]
Программное обеспечение [ править ]
Было реализовано несколько компиляций алгоритмов трансферного обучения и адаптации предметной области:
См. также [ править ]
- Кроссовер (генетический алгоритм)
- Адаптация домена
- Общая игра
- Многозадачное обучение
- Многозадачная оптимизация
- Перенос знаний по педагогической психологии
- Обучение с нулевым выстрелом
- Особенности обучения
- внешняя валидность
Ссылки [ править ]
- ^ Уэст, Джереми; Вентура, Дэн; Варник, Шон (2007). «Презентация весеннего исследования: теоретическая основа индуктивного переноса» . Университет Бригама Янга, Колледж физико-математических наук. Архивировано из оригинала 1 августа 2007 г. Проверено 5 августа 2007 г.
- ^ Джордж Каримпанал, Томмен; Буффанае, Роланд (2019). «Самоорганизующиеся карты для хранения и передачи знаний в обучении с подкреплением». Адаптивное поведение . 27 (2): 111–126. arXiv : 1811.08318 . дои : 10.1177/1059712318818568 . ISSN 1059-7123 . S2CID 53774629 .
- ^ Экономически чувствительное машинное обучение. (2011). США: CRC Press, стр. 63, https://books.google.de/books?id=8TrNBQAAQBAJ&pg=PA63.
- ^ Стево. Божиновски и Анте Фулгоши (1976). «Влияние сходства шаблонов и трансферного обучения на обучение базового перцептрона B2». (оригинал на хорватском языке) Труды Symposium Informatica 3-121-5, Блед.
- ^ Стево Божиновски (2020) «Напоминание о первой статье о трансферном обучении в нейронных сетях, 1976» . Информатика 44: 291–302.
- ^ С. Божиновский (1981). «Обучающее пространство: концепция представления адаптивной классификации шаблонов». Технический отчет COINS, Массачусетский университет в Амхерсте, № 81-28 [доступно онлайн: UM-CS-1981-028.pdf]
- ^ Пратт, Л.Ю. (1992). «Передача между нейронными сетями на основе различимости» (PDF) . Конференция NIPS: Достижения в области нейронных систем обработки информации 5 . Издательство Морган Кауфманн. стр. 204–211.
- ^ Каруана, Р., «Многозадачное обучение», стр. 95–134 в Thrun & Pratt, 2012.
- ^ Бакстер, Дж., «Теоретические модели обучения обучению», стр. 71-95, Thrun & Pratt, 2012.
- ^ Трун и Пратт 2012 .
- ^ Пан, Синно Цзялин; Ян, Цян (2009). «Опрос по трансферному обучению» (PDF) . ИИЭЭ .
- ^ ; Дунбо Чжуан, Фучжэнь; Ци, Чжиюань , Кэйю, Чжу ; , Хэншу
- ^ Учебное пособие NIPS 2016: «Основы создания приложений искусственного интеллекта с использованием глубокого обучения», Эндрю Нг , заархивировано из оригинала 19 декабря 2021 г. , получено 28 декабря 2019 г.
- ^ Основы создания приложений искусственного интеллекта с использованием глубокого обучения, слайды.
- ^ Зоф, Баррет (2020). «Переосмысление предварительной тренировки и самотренировки» (PDF) . Достижения в области нейронных систем обработки информации . 33 : 3833–3845. arXiv : 2006.06882 . Проверено 20 декабря 2022 г.
- ^ Михалкова Лилиана; Хюинь, Туен; Муни, Рэймонд Дж. (июль 2007 г.), «Картирование и пересмотр марковских логических сетей для передачи» (PDF) , Учебные материалы 22-й конференции AAAI по искусственному интеллекту (AAAI-2007) , Ванкувер, Британская Колумбия, стр. 608–614 , получено 5 августа 2007 г.
{{citation}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) - ^ Никулеску-Мизил, Александру; Каруана, Рич (21–24 марта 2007 г.), «Индуктивный перенос для обучения структуре байесовской сети» (PDF) , Материалы одиннадцатой Международной конференции по искусственному интеллекту и статистике (AISTATS 2007) , получено 5 августа 2007 г.
- ^ Хаджирамезанали, Э., Дадане, С.З., Карбалайгаре, А., Чжоу, З. и Цянь, X. Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета секвенирования следующего поколения. 32-я конференция по нейронным системам обработки информации (NeurIPS 2018), Монреаль, Канада. arXiv : 1810.09433
- ^ Ариеф-Анг, IB; Салим, Флорида; Гамильтон, М. (08 ноября 2017 г.). DA-HOC: адаптация полуконтролируемой области для прогнозирования занятости помещений с использованием данных датчика CO2 . 4-я Международная конференция ACM по системам энергоэффективной застроенной среды (BuildSys). Делфт, Нидерланды. стр. 1–10. дои : 10.1145/3137133.3137146 . ISBN 978-1-4503-5544-5 .
- ^ Ариеф-Анг, IB; Гамильтон, М.; Салим, федеральный округ (01 декабря 2018 г.). «Масштабируемый прогноз занятости помещения с переносимым разложением временных рядов данных датчика CO2». Транзакции ACM в сенсорных сетях . 14 (3–4): 21:1–21:28. дои : 10.1145/3217214 . S2CID 54066723 .
- ^ Банерджи, Бикрамджит и Питер Стоун. « Общее игровое обучение с использованием передачи знаний ». IJCAI. 2007.
- ^ До, Чуонг Б.; Нг, Эндрю Ю. (2005). «Перенос обучения для классификации текста». Фонд систем нейронной обработки информации, NIPS*2005 (PDF) . Проверено 5 августа 2007 г.
- ^ Раджат, Райна; Нг, Эндрю Ю.; Коллер, Дафна (2006). «Построение информативных априорных данных с использованием трансферного обучения». Двадцать третья международная конференция по машинному обучению (PDF) . Проверено 5 августа 2007 г.
- ^ Майтра, Д.С.; Бхаттачарья, У.; Паруи, СК (август 2015 г.). «Общий подход на основе CNN к распознаванию рукописных символов в нескольких сценариях». 2015 13-я Международная конференция по анализу и распознаванию документов (ICDAR) . стр. 1021–1025. дои : 10.1109/ICDAR.2015.7333916 . ISBN 978-1-4799-1805-8 . S2CID 25739012 .
- ^ Бикель, Штеффен (2006). «Обзор ECML-PKDD Discovery Challenge 2006». Семинар ECML-PKDD Discovery Challenge (PDF) . Проверено 5 августа 2007 г.
- ^ Бёрд, Джордан Дж.; Кобыларз, Джонатан; Фариа, Диего Р.; Экарт, Анико; Рибейро, Эдуардо П. (2020). «Междоменное обучение MLP и CNN для обработки биологических сигналов: ЭЭГ и ЭМГ» . Доступ IEEE . 8 . Институт инженеров по электротехнике и электронике (IEEE): 54789–54801. Бибкод : 2020IEEA...854789B . дои : 10.1109/access.2020.2979074 . ISSN 2169-3536 .
- ^ Майтра, Дурджой Сен; Бхаттачарья, Уджвал; Паруи, Свапан К. (август 2015 г.). «Общий подход на основе CNN к распознаванию рукописных символов в нескольких сценариях» . 2015 13-я Международная конференция по анализу и распознаванию документов (ICDAR) . стр. 1021–1025. дои : 10.1109/ICDAR.2015.7333916 . ISBN 978-1-4799-1805-8 . S2CID 25739012 .
- ^ Кабир, Его Величество Дипу; Абдар, Молуд; Джалали, Сейед Мохаммад Джафар; Хосрави, Аббас; Атия, Амир Ф.; Нахаванди, Саид; Шринивасан, Дипти (7 января 2022 г.). «SpinalNet: глубокая нейронная сеть с постепенным вводом» . Транзакции IEEE по искусственному интеллекту . 4 (5): 1165–1177. arXiv : 2007.03347 . дои : 10.1109/TAI.2022.3185179 . S2CID 220381239 .
- ^ де Мателен, Антуан и Дехигер, Франсуа и Ришар, Гийом и Мужо, Матильда и Ваятис, Николя (2020) «ADAPT: потрясающий набор инструментов Python для адаптации домена»
- ^ Миншэн Лонг Цзюньгуан Цзян, Бо Фу (2020) «Библиотека трансферного обучения».
- ^ Ке Ян. (2016) «Инструментарий для адаптации предметной области»
Источники [ править ]
- Трун, Себастьян; Пратт, Лориен (6 декабря 2012 г.). Учимся учиться . Springer Science & Business Media. ISBN 978-1-4615-5529-2 .