Метаобучение (информатика)
| Часть серии о |
| Машинное обучение и интеллектуальный анализ данных |
|---|
Метаобучение [1] [2] это подобласть машинного обучения , в которой алгоритмы автоматического обучения применяются к метаданным об экспериментах по машинному обучению. По состоянию на 2017 год этот термин не нашел стандартной интерпретации, однако основная цель — использовать такие метаданные, чтобы понять, как автоматическое обучение может стать гибким при решении задач обучения, и, следовательно, улучшить производительность существующих алгоритмов обучения или изучить (побудить) сам алгоритм обучения, отсюда и альтернативный термин «учиться учиться» . [1]
Гибкость важна, поскольку каждый алгоритм обучения основан на наборе предположений о данных, их индуктивном смещении . [3] Это означает, что он будет хорошо учиться только в том случае, если предвзятость соответствует проблеме обучения. Алгоритм обучения может работать очень хорошо в одной области, но не в другой. Это накладывает сильные ограничения на использование методов машинного обучения или интеллектуального анализа данных , поскольку взаимосвязь между задачей обучения (часто какой-то базы данных ) и эффективностью различных алгоритмов обучения еще не понятна.
Используя различные виды метаданных, такие как свойства задачи обучения, свойства алгоритма (например, показатели производительности) или шаблоны, ранее полученные из данных, можно изучать, выбирать, изменять или комбинировать различные алгоритмы обучения для эффективного решения заданной задачи обучения. проблема. Критика подходов метаобучения очень похожа на критику метаэвристики , возможно, связанной с ней проблемы. Хорошая аналогия метаобучению и источник вдохновения для Юргена Шмидхубера (1987). ранних работ [1] и работа Йошуа Бенджио и др. (1991), [4] считает, что генетическая эволюция изучает процедуру обучения, закодированную в генах и выполняемую в мозгу каждого человека. В открытой иерархической системе метаобучения [1] используя генетическое программирование , метаэволюция может изучить лучшие эволюционные методы, которые сами по себе могут быть улучшены мета-метаэволюцией и т. д. [1]
Определение [ править ]
Предлагаемое определение [5] для системы метаобучения сочетает в себе три требования:
- Система должна включать подсистему обучения.
- Опыт приобретается за счет использования извлеченных метазнаний.
- в предыдущем эпизоде обучения на одном наборе данных или
- из разных доменов.
- Предвзятость обучения должна выбираться динамически.
Предвзятость относится к предположениям, которые влияют на выбор объяснительных гипотез. [6] а не понятие предвзятости, представленное в дилемме смещения-дисперсии . Мета-обучение связано с двумя аспектами предвзятости обучения.
- Декларативная предвзятость определяет представление пространства гипотез и влияет на размер пространства поиска (например, представление гипотез с использованием только линейных функций).
- Процедурная предвзятость накладывает ограничения на упорядочивание индуктивных гипотез (например, предпочтение меньшим гипотезам). [7]
Общие подходы [ править ]
Существует три распространенных подхода: [8]
- использование (циклических) сетей с внешней или внутренней памятью (на основе модели)
- изучение эффективных дистанционных метрик (на основе метрик)
- явная оптимизация параметров модели для быстрого обучения (на основе оптимизации).
На основе модели [ править ]
Модели метаобучения на основе моделей быстро обновляют свои параметры с помощью нескольких этапов обучения, что может быть достигнуто с помощью их внутренней архитектуры или контролироваться другой моделью метаобучения. [8]
Нейронные сети памятью расширенной с
с расширенной памятью Утверждается, что нейронная сеть , или сокращенно MANN, способна быстро кодировать новую информацию и, таким образом, адаптироваться к новым задачам после всего лишь нескольких примеров. [9]
Метасети [ править ]
Meta Networks (MetaNet) изучает знания метауровня при выполнении задач и изменяет свои индуктивные предубеждения посредством быстрой параметризации для быстрого обобщения. [10]
На основе показателей [ править ]
Основная идея метаобучения на основе метрик аналогична алгоритмам ближайших соседей , вес которых генерируется функцией ядра. Он направлен на изучение метрической функции или функции расстояния над объектами. Понятие хорошей метрики зависит от проблемы. Он должен представлять взаимосвязь между входными данными в пространстве задач и облегчать решение проблем. [8]
сеть Сверточная сиамская нейронная
Сиамская нейронная сеть состоит из двух сетей-близнецов, выходные данные которых обучаются совместно. Выше есть функция, позволяющая узнать взаимосвязь между парами выборок входных данных. Две сети одинаковы, имеют одинаковый вес и параметры сети. [11]
Соответствующие сети [ править ]
Соответствующие сети изучают сеть, которая сопоставляет небольшой помеченный набор поддержки и немаркированный пример с ее меткой, устраняя необходимость тонкой настройки для адаптации к новым типам классов. [12]
Сеть отношений [ править ]
Реляционная сеть (RN) обучается с нуля. В ходе метаобучения он учится изучать метрику глубокого расстояния, чтобы сравнивать небольшое количество изображений в эпизодах, каждое из которых предназначено для имитации обстановки с несколькими кадрами. [13]
Прототипические сети [ править ]
Прототипические сети изучают метрическое пространство , в котором классификация может выполняться путем вычисления расстояний до прототипных представлений каждого класса. По сравнению с недавними подходами к обучению с несколькими попытками, они отражают более простое индуктивное смещение, которое полезно в этом режиме ограниченных данных и позволяет достичь удовлетворительных результатов. [14]
На основе оптимизации [ править ]
Алгоритмы метаобучения на основе оптимизации предназначены для настройки алгоритма оптимизации так, чтобы модель могла хорошо обучаться на нескольких примерах. [8]
LSTM Meta-Learner [ править ]
Мета-обучающийся на основе LSTM предназначен для изучения точного алгоритма оптимизации, используемого для обучения другого нейронной сети классификатора обучаемого в режиме нескольких выстрелов. Параметризация позволяет ему изучать соответствующие обновления параметров специально для сценария, в котором будет выполнено заданное количество обновлений, а также изучать общую инициализацию сети обучаемого (классификатора), которая обеспечивает быструю конвергенцию обучения. [15]
дискретность Временная
Модельно-агностическое метаобучение (MAML) — это довольно общий алгоритм оптимизации , совместимый с любой моделью, которая обучается посредством градиентного спуска. [16]
Рептилия [ править ]
Reptile — это удивительно простой алгоритм оптимизации метаобучения, учитывая, что оба его компонента полагаются на метаоптимизацию посредством градиентного спуска и оба не зависят от модели. [17]
Примеры [ править ]
Некоторые подходы, которые рассматривались как примеры метаобучения:
- Рекуррентные нейронные сети (RNN) — это универсальные компьютеры. В 1993 году Юрген Шмидхубер показал, как «самореферентные» RNN в принципе могут научиться с помощью обратного распространения ошибки запускать собственный алгоритм изменения веса, который может сильно отличаться от обратного распространения ошибки. [18] В 2001 году Зепп Хохрейтер , А.С. Янгер и П.Р. Конвелл создали успешную контролируемую мета-обучающуюся систему, основанную на RNN с длинной кратковременной памятью . С помощью обратного распространения ошибки он обучился алгоритму обучения квадратичных функций, который работает намного быстрее, чем обратное распространение ошибки. [19] [2] Исследователи из Deepmind (Марцин Андрихович и др.) расширили этот подход до оптимизации в 2017 году. [20]
- В 1990-е годы мета- обучение с подкреплением или Meta RL было достигнуто в исследовательской группе Шмидхубера с помощью самомодифицирующихся политик, написанных на универсальном языке программирования, который содержит специальные инструкции для изменения самой политики. Есть одно пожизненное испытание. Цель агента RL — максимизировать вознаграждение. Он учится ускорять получение вознаграждения, постоянно совершенствуя свой собственный алгоритм обучения, который является частью политики «самореферентности». [21] [22]
- Крайний тип мета- подкрепления обучения воплощается в машине Гёделя , теоретической конструкции, которая может проверять и модифицировать любую часть своего собственного программного обеспечения, которое также содержит средство доказательства общих теорем . Он может достичь рекурсивного самосовершенствования доказуемо оптимальным способом. [23] [2]
- Модельно-агностическое метаобучение (MAML) было представлено в 2017 году Челси Финн и др. [16] Учитывая последовательность задач, параметры данной модели обучаются так, что несколько итераций градиентного спуска с небольшим количеством обучающих данных из новой задачи приведут к хорошей производительности обобщения для этой задачи. MAML «обучает модель так, чтобы ее было легко настраивать». [16] MAML был успешно применен к тестам классификации изображений с несколькими кадрами и к обучению с подкреплением на основе политики градиента. [16]
- Вариационный байесово-адаптивный глубокий RL (VariBAD) был представлен в 2019 году. [24] В то время как MAML основан на оптимизации, VariBAD представляет собой метод обучения с мета-подкреплением, основанный на модели, и использует вариационный автокодировщик для захвата информации о задаче во внутренней памяти, тем самым обуславливая принятие решений по задаче.
- При решении набора задач большинство подходов к метаобучению оптимизируют средний балл по всем задачам. Следовательно, некоторыми задачами можно пожертвовать в пользу среднего балла, что часто неприемлемо в реальных приложениях. Напротив, Robust Meta Reinforcement Learning (RoML) фокусируется на улучшении задач с низкими оценками, повышая надежность выбора задачи. [25] RoML работает как метаалгоритм, поскольку его можно применять поверх других алгоритмов метаобучения (таких как MAML и VariBAD) для повышения их надежности. Он применим как к контролируемому метаобучению, так и к метаобучению с подкреплением .
- Обнаружение метазнаний происходит путем формирования знаний (например, правил), которые выражают то, как каждый метод обучения будет действовать при решении различных задач обучения. Метаданные формируются на основе характеристик данных (общих, статистических, теоретико-информационных и т. д.) в задаче обучения и характеристик алгоритма обучения (тип, настройки параметров, показатели производительности и т. д.). Затем другой алгоритм обучения изучает, как характеристики данных связаны с характеристиками алгоритма. Учитывая новую задачу обучения, измеряются характеристики данных и прогнозируется производительность различных алгоритмов обучения. Следовательно, можно предсказать, какие алгоритмы лучше всего подходят для новой задачи.
- Сложенное обобщение работает путем объединения нескольких (разных) алгоритмов обучения. Метаданные формируются на основе прогнозов этих различных алгоритмов. Другой алгоритм обучения на основе этих метаданных учится предсказывать, какие комбинации алгоритмов дают в целом хорошие результаты. При возникновении новой задачи обучения прогнозы выбранного набора алгоритмов объединяются (например, путем (взвешенного) голосования) для получения окончательного прогноза. Поскольку считается, что каждый алгоритм работает над определенным набором задач, ожидается, что комбинация будет более гибкой и сможет давать хорошие прогнозы.
- Повышение связано с многоуровневым обобщением, но использует один и тот же алгоритм несколько раз, при этом примеры в обучающих данных получают разные веса при каждом прогоне. Это дает разные прогнозы, каждый из которых ориентирован на правильное предсказание подмножества данных, а объединение этих прогнозов приводит к лучшим (но более дорогим) результатам.
- Выбор динамического смещения работает путем изменения индуктивного смещения алгоритма обучения в соответствии с заданной проблемой. Это делается путем изменения ключевых аспектов алгоритма обучения, таких как представление гипотезы, эвристические формулы или параметры. Существует много разных подходов.
- Индуктивный перенос изучает, как процесс обучения можно улучшить с течением времени. Метаданные состоят из знаний о предыдущих эпизодах обучения и используются для эффективной разработки эффективной гипотезы для новой задачи. Связанный подход называется обучением обучению , в котором цель состоит в том, чтобы использовать полученные знания из одной области для помощи в обучении в других областях.
- Другими подходами, использующими метаданные для улучшения автоматического обучения, являются системы классификаторов обучения , рассуждения на основе прецедентов и удовлетворение ограничений .
- Была начата некоторая первоначальная теоретическая работа по использованию прикладного поведенческого анализа в качестве основы для агент-опосредованного метаобучения о действиях учащихся-людей и корректировке учебного курса искусственного агента. [26]
- AutoML, такой как проект Google Brain «ИИ, создающий искусственный интеллект», который, по данным Google, ненадолго превзошел существующие тесты ImageNet в 2017 году. [27] [28]
Ссылки
- ↑ Перейти обратно: Перейти обратно: а б с д и Шмидхубер, Юрген (1987). «Эволюционные принципы самореферентного обучения или обучения тому, как учиться: мета-мета-... крючок» (PDF) . Дипломная работа, техн. унив. Мюнхен .
- ↑ Перейти обратно: Перейти обратно: а б с Шауль, Том; Шмидхубер, Юрген (2010). «Металобучение» . Схоларпедия . 5 (6): 4650. Бибкод : 2010SchpJ...5.4650S . doi : 10.4249/scholarpedia.4650 .
- ^ П.Е. Утгофф (1986). «Сдвиг предвзятости в отношении индуктивного концептуального обучения» . У Р. Михальского; Дж. Карбонелл; Т. Митчелл (ред.). Машинное обучение: подход искусственного интеллекта . Морган Кауфманн. стр. 163–190. ISBN 978-0-934613-00-2 .
- ^ Бенджио, Йошуа; Бенджио, Сами; Клотье, Джоселин (1991). Учимся изучать синаптическое правило (PDF) . IJCNN'91.
- ^ Лемке, Кристиана; Будка, Марцин; Габрис, Богдан (20 июля 2013 г.). «Металобучение: обзор тенденций и технологий» . Обзор искусственного интеллекта . 44 (1): 117–130. дои : 10.1007/s10462-013-9406-y . ISSN 0269-2821 . ПМЦ 4459543 . ПМИД 26069389 .
- ^ Браздил, Павел; Кэрриер, Кристоф Жиро; Соарес, Карлос; Вилальта, Рикардо (2009). Метаобучение — Springer . Когнитивные технологии. дои : 10.1007/978-3-540-73263-1 . ISBN 978-3-540-73262-4 .
- ^ Гордон, Диана; Дежарден, Мари (1995). «Оценка и выбор систематических ошибок в машинном обучении» (PDF) . Машинное обучение . 20 :5–22. дои : 10.1023/А:1022630017346 . Проверено 27 марта 2020 г.
- ↑ Перейти обратно: Перейти обратно: а б с д Венг, Лилиан (30 ноября 2018 г.). «Метаобучение: учимся быстро учиться» . Блог OpenAI . Проверено 27 октября 2019 г.
- ^ Санторо, Адам; Бартунов Сергей; Виерстра, Даан; Лилликрап, Тимоти. «Метаобучение с помощью нейронных сетей с расширенной памятью» (PDF) . Гугл ДипМайнд . Проверено 29 октября 2019 г.
- ^ Мунхдалай, Цендсурэн; Ю, Хун (2017). «Метасети». arXiv : 1703.00837 [ cs.LG ].
- ^ Кох, Грегори; Земель, Ричард; Салахутдинов, Руслан (2015). «Сиамские нейронные сети для однократного распознавания изображений» (PDF) . Торонто, Онтарио, Канада: Департамент компьютерных наук Университета Торонто.
- ^ Виньялс, О.; Бланделл, К.; Лилликрап, Т.; Кавукчуоглу, К.; Виерстра, Д. (2016). «Соответствующие сети для однократного обучения» (PDF) . Гугл ДипМайнд . Проверено 3 ноября 2019 г.
- ^ Сун, Ф.; Ян, Ю.; Чжан, Л.; Сян, Т.; Торр, PHS; Госпедалес, ТМ (2018). «Учимся сравнивать: сеть отношений для однократного обучения» (PDF) .
- ^ Снелл, Дж.; Сверски, К.; Земель, РС (2017). «Прототипические сети для краткосрочного обучения» (PDF) .
- ^ Рави, Сачин; Ларошель, Хьюго (2017). Оптимизация как модель многократного обучения . ИКЛР 2017 . Проверено 3 ноября 2019 г.
- ↑ Перейти обратно: Перейти обратно: а б с д Финн, Челси; Аббель, Питер; Левин, Сергей (2017). «Модельно-агностическое метаобучение для быстрой адаптации глубоких сетей». arXiv : 1703.03400 [ cs.LG ].
- ^ Никол, Алекс; Ахиам, Джошуа; Шульман, Джон (2018). «Об алгоритмах метаобучения первого порядка». arXiv : 1803.02999 [ cs.LG ].
- ^ Шмидхубер, Юрген (1993). «Самореферентная весовая матрица». Протоколы ICANN'93, Амстердам : 446–451.
- ^ Хохрейтер, Зепп; Младший, А.С.; Конвелл, PR (2001). «Учимся учиться с помощью градиентного спуска». Протоколы ICANN'01 : 87–94.
- ^ Андрыхович, Марцин; Денил, Миша; Гомес, Серхио; Хоффманн, Мэтью; Пфау, Дэвид; Шауль, Том; Шиллингфорд, Брендан; де Фрейтас, Нандо (2017). «Учимся учиться градиентным спуском». Труды ICML'17, Сидней, Австралия . arXiv : 1606.04474 .
- ^ Шмидхубер, Юрген (1994). «О том, как изучать стратегии обучения» (PDF) . Технический отчет ФКИ-198-94, Тех. унив. Мюнхен .
- ^ Шмидхубер, Юрген; Чжао, Дж.; Виринг, М. (1997). «Изменение индуктивной предвзятости с помощью алгоритма истории успеха, адаптивного поиска Левина и постепенного самосовершенствования» . Машинное обучение . 28 : 105–130. дои : 10.1023/а:1007383707642 .
- ^ Шмидхубер, Юрген (2006). «Машины Гёделя: полностью самореферентные оптимальные универсальные самоулучшители» . В книге Б. Герцеля и К. Пенначина, ред.: Общий искусственный интеллект : 199–226.
- ^ Зинтграф, Луиза; Шульце, Себастьян; Лу, Конг; Фэн, Лео; Игл, Максимилиан; Шиарлис, Кириакос; Галь, Ярин; Хофманн, Катя; Уайтсон, Шимон (2021). «VariBAD: вариационное байесово-адаптивное глубокое RL посредством метаобучения» . Журнал исследований машинного обучения . 22 (289): 1–39. ISSN 1533-7928 .
- ^ Гринберг, Идо; Маннор, Ши; Чечик, Гал; Мейром, Эли (15 декабря 2023 г.). «Тренируйся усердно, сражайся легко: надежное обучение метаподкреплению» . Достижения в области нейронных систем обработки информации . 36 : 68276–68299.
- ^ Беголи, Эдмон (май 2014 г.). «Архитектура процедурного рассуждения для инструкций, основанных на прикладном анализе поведения» . Докторские диссертации . Ноксвилл, Теннесси, США: Университет Теннесси, Ноксвилл: 44–79 . Проверено 14 октября 2017 г.
- ^ «Роботы теперь «создают новых роботов», — говорит технический репортер» . NPR.org . 2018 . Проверено 29 марта 2018 г.
- ^ «AutoML для крупномасштабной классификации изображений и обнаружения объектов» . Блог исследований Google . Ноябрь 2017 года . Проверено 29 марта 2018 г.
Внешние ссылки [ править ]
- Статья о метаобучении в Scholarpedia
- Вилальта, Р.; Дрисси, Ю. (2002). «Перспективный взгляд и обзор метаобучения» (PDF) . Обзор искусственного интеллекта . 18 (2): 77–95. дои : 10.1023/А:1019956318069 .
- Жиро-Каррье, К.; Келлер, Дж. (2002). «Метаобучение». Ин Мейдж, Дж. (ред.). Борьба с потоком данных . Гаага: STT/Beweton.
- Браздил, П.; Жиро-Каррье, К.; Соареш, К.; Вилальта, Р. (2009). «Метаобучение: концепции и системы». Метаобучение: приложения для интеллектуального анализа данных . Спрингер. ISBN 978-3-540-73262-4 .
- Видеокурсы по метаобучению с пошаговым объяснением MAML , прототипных сетей и сетей отношений .