Многозадачная оптимизация
 | Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом . ( Ноябрь 2021 г. ) |
Многозадачная оптимизация — это парадигма в литературе по оптимизации, которая фокусируется на одновременном решении нескольких автономных задач. [1] [2] Эта парадигма была основана на устоявшихся концепциях трансферного обучения. [3] и многозадачное обучение [4] в прогнозной аналитике .
Основная мотивация многозадачной оптимизации заключается в том, что если задачи оптимизации связаны друг с другом с точки зрения оптимальных решений или общих характеристик их функционального ландшафта, [5] Ход поиска может быть передан для существенного ускорения поиска на другой.
Успех парадигмы не обязательно ограничивается односторонней передачей знаний от более простых задач к более сложным. На практике попытка состоит в том, чтобы намеренно решить более сложную задачу, которая может непреднамеренно решить несколько более мелких проблем. [6]
Существует прямая связь между многозадачной оптимизацией и многоцелевой оптимизацией . [7]
Методы [ править ]
Существует несколько распространенных подходов к многозадачной оптимизации: байесовская оптимизация , эволюционные вычисления и подходы, основанные на теории игр . [1]
Многозадачная оптимизация байесовская
Многозадачная байесовская оптимизация — это современный подход, основанный на моделях, который использует концепцию передачи знаний для ускорения процесса автоматической оптимизации гиперпараметров алгоритмов машинного обучения. [8] Этот метод строит многозадачную модель гауссовского процесса на основе данных, полученных в результате различных поисков, выполняемых в тандеме. [9] Зафиксированные межзадачные зависимости впоследствии используются для лучшего информирования о последующей выборке возможных решений в соответствующих пространствах поиска.
Эволюционная многозадачность [ править ]
Эволюционная многозадачность изучалась как средство использования неявного параллелизма алгоритмов генерального поиска для одновременного выполнения нескольких отдельных задач оптимизации. Сопоставляя все задачи в едином пространстве поиска, развивающаяся совокупность возможных решений может использовать скрытые связи между ними посредством непрерывного генетического переноса. Это происходит, когда решения, связанные с разными задачами, пересекаются. [2] [10] способы передачи знаний, отличные от прямого пересечения решений. Недавно были исследованы [11]
Теоретико-игровая оптимизация [ править ]
Теоретико-игровые подходы к многозадачной оптимизации предлагают рассматривать задачу оптимизации как игру, где каждой задачей является игрок. Все игроки соревнуются в матрице наград игры и пытаются найти решение, которое удовлетворит всех игроков (все задачи). Это представление дает представление о том, как создавать эффективные алгоритмы на основе оптимизации градиентного спуска (GD), что особенно важно для обучения глубоких нейронных сетей . [12] В GD для MTL проблема в том, что каждая задача дает свои потери, и непонятно, как объединить все потери и создать единый градиент, что приводит к нескольким различным стратегиям агрегации. [13] [14] [15] Эту проблему агрегирования можно решить, определив игровую матрицу, в которой наградой каждого игрока будет согласие его собственного градиента с общим градиентом, а затем установив общий градиент в качестве кооперативного соглашения Нэша. [16] этой системы.
Приложения [ править ]
Алгоритмы многозадачной оптимизации охватывают широкий спектр реальных приложений. Недавние исследования подчеркивают возможность ускорения оптимизации параметров инженерного проектирования за счет совместного выполнения связанных проектов в многозадачном режиме. [10] В машинном обучении передача оптимизированных функций между связанными наборами данных может повысить эффективность процесса обучения, а также улучшить возможности обобщения изученных моделей. [17] [18] Кроме того, концепция многозадачности привела к достижениям в области автоматической оптимизации гиперпараметров моделей машинного обучения и ансамблевого обучения . [19] [20]
Сообщалось также о приложениях в облачных вычислениях, [21] Будущие разработки направлены на облачные услуги оптимизации по требованию, которые могут обслуживать несколько клиентов одновременно. [2] [22] Недавние работы дополнительно показали применение в химии. [23]
См. также [ править ]
- Многокритериальная оптимизация
- Многозадачное обучение
- Многокритериальная классификация
- Анализ решений по множеству критериев
Ссылки [ править ]
- ^ Jump up to: Перейти обратно: а б Гупта, Абхишек; Онг, Ю-Сун; Фэн, Лян (2018). «Идеи по оптимизации трансферов: потому что опыт — лучший учитель». Транзакции IEEE по новым темам вычислительного интеллекта . 2 : 51–64. дои : 10.1109/TETCI.2017.2769104 . hdl : 10356/147980 . S2CID 11510470 .
- ^ Jump up to: Перейти обратно: а б с Гупта, Абхишек; Онг, Ю-Сун; Фэн, Лян (2016). «Многофакторная эволюция: к эволюционной многозадачности». Транзакции IEEE в эволюционных вычислениях . 20 (3): 343–357. дои : 10.1109/TEVC.2015.2458037 . hdl : 10356/148174 . S2CID 13767012 .
- ^ Пан, Синно Цзялин; Ян, Цян (2010). «Опрос по трансферному обучению». Транзакции IEEE по знаниям и инженерии данных . 22 (10): 1345–1359. дои : 10.1109/TKDE.2009.191 . S2CID 740063 .
- ^ Каруана, Р., «Многозадачное обучение», стр. 95-134 в книге Себастьяна Труна, Лориен Пратт (ред.) Учимся учиться , (1998) Springer ISBN 9780792380474
- ^ Ченг, Мэй-Ин; Гупта, Абхишек; Онг, Ю-Сун; Ни, Чжи-Вэй (2017). «Коэволюционная многозадачность для одновременной глобальной оптимизации: с примерами сложного инженерного проектирования» . Инженерные применения искусственного интеллекта . 64 : 13–24. дои : 10.1016/j.engappai.2017.05.008 . S2CID 13767210 .
- ^ Каби, Серкан; Серхио Гомес Кольменарехо; Хоффман, Мэтью В.; Денил, Миша; Ван, Зию; Нандо де Фрейтас (2017). «Намеренный непреднамеренный агент: обучение одновременному решению множества задач непрерывного контроля». arXiv : 1707.03300 [ cs.AI ].
- ^ Дж. -Ю. Ли, З.-Х. Чжан, Ю. Ли и Дж. Чжан, «Несколько задач для нескольких целей: новый метод многокритериальной оптимизации посредством многозадачной оптимизации», в IEEE Transactions on Evolutionary Computation, дои : 10.1109/TEVC.2023.3294307
- ^ Сверски, К., Снук, Дж., и Адамс, Р.П. (2013). Многозадачная байесовская оптимизация . Достижения в области нейронных систем обработки информации (стр. 2004-2012).
- ^ Бонилья, Э.В., Чай, К.М., и Уильямс, К. (2008). Многозадачное предсказание гауссовского процесса . Достижения в области нейронных систем обработки информации (стр. 153-160).
- ^ Jump up to: Перейти обратно: а б Онг Ю.С. и Гупта А. (2016). Эволюционная многозадачность: компьютерный взгляд на когнитивную многозадачность . Когнитивные вычисления, 8 (2), 125–142.
- ^ Фэн, Лян; Чжоу, Лэй; Чжун, Цзинхуэй; Гупта, Абхишек; Онг, Ю-Сун; Тан, Кай-Чен; Цинь, АК (2019). «Эволюционная многозадачность посредством явного автокодирования». Транзакции IEEE по кибернетике . 49 (9): 3457–3470. дои : 10.1109/TCYB.2018.2845361 . ПМИД 29994415 . S2CID 51613697 .
- ^ Гудфеллоу, Ян; Бенджио, Йошуа; Курвиль, Аарон (2016). Глубокое обучение . МТИ Пресс. ISBN 978-0-262-03561-3 .
- ^ Лю, Л.; Ли, Ю.; Куанг, З.; Сюэ, Дж.; Чен, Ю.; Ян, В.; Ляо, К.; Чжан, В. (04 мая 2021 г.). «На пути к беспристрастному многозадачному обучению» . В: Материалы Международной конференции по обучению представлениям (ICLR 2021). ICLR: Виртуальное мероприятие. (2021) . Проверено 20 ноября 2022 г.
- ^ Тяньхэ, Ю; Саураб, Кумар; Абхишек, Гупта; Сергей, Левин; Кароль, Хаусман; Челси, Финн (2020). «Градиентная хирургия для многозадачного обучения» . Достижения в области нейронных систем обработки информации . 33 . arXiv : 2001.06782 .
- ^ Лю, Бо; Лю, Синчао; Цзинь, Сяоцзе; Стоун, Питер; Лю, Цян (26 октября 2021 г.). «Бесконфликтный градиентный спуск для многозадачного обучения». arXiv : 2110.14048 [ cs.LG ].
- ^ Авив Навон, Авив Шамсян, Идан Ачитуве, Хаггей Марон, Кенджи Кавагути, Гал Чечик, Итан Фетайя (2022). Многозадачное обучение как игра в торг . Международная конференция по машинному обучению.
- ^ Чандра Р., Гупта А., Онг Ю.С. и Гох К.К. (октябрь 2016 г.). Эволюционное многозадачное обучение для модульного обучения нейронных сетей прямого распространения . На Международной конференции по нейронной обработке информации (стр. 37-46). Спрингер, Чам.
- ^ Йосински Дж., Клюн Дж., Бенджио Ю. и Липсон Х. (2014). Насколько переносимы функции в глубоких нейронных сетях? В книге «Достижения в области нейронных систем обработки информации» (стр. 3320–3328).
- ^ Вэнь, Ю-Вэй; Тинг, Чуан-Кан (2016). «Изучение ансамбля деревьев решений посредством многофакторного генетического программирования». Конгресс IEEE по эволюционным вычислениям (CEC) 2016 г. стр. 5293–5300. дои : 10.1109/CEC.2016.7748363 . ISBN 978-1-5090-0623-6 . S2CID 2617811 .
- ^ Чжан, Бою; Цинь, АК; Селис, Тимос (2018). «Генерация подпространств эволюционных признаков для классификации ансамблей». Материалы конференции по генетическим и эволюционным вычислениям . стр. 577–584. дои : 10.1145/3205455.3205638 . ISBN 978-1-4503-5618-3 . S2CID 49564862 .
- ^ Бао, Лян; Ци, Ютао; Шен, Мэнцин; Бу, Сяосюань; Ю, Джушэн; Ли, Цянь; Чен, Пин (2018). «Эволюционный алгоритм многозадачности для построения сервисов облачных вычислений». Услуги – УСЛУГИ 2018 . Конспекты лекций по информатике. Том. 10975. стр. 130–144. дои : 10.1007/978-3-319-94472-2_10 . ISBN 978-3-319-94471-5 .
- ^ Тан Дж., Чен Ю., Дэн З., Сян Ю. и Джой К.П. (2018). Групповой подход к улучшению многофакторного эволюционного алгоритма . В IJCAI (стр. 3870-3876).
- ^ Фелтон, Коби; Уиг, Дэниел; Лапкин, Алексей (2021). «Многозадачная байесовская оптимизация химических реакций». chemRxiv . дои : 10.26434/chemrxiv.13250216.v2 .
 | ||||