Поиск нейронной архитектуры

Поиск нейронной архитектуры ( NAS ) — это метод автоматизации проектирования искусственных нейронных сетей (ИНС), широко используемой модели в области машинного обучения . NAS использовался для проектирования сетей, которые не уступают по производительности архитектурам, созданным вручную, или превосходят их. Методы для NAS можно разделить на категории в зависимости от используемого пространства поиска, стратегии поиска и стратегии оценки производительности:

• Пространство поиска определяет тип(ы) ИНС, которые можно спроектировать и оптимизировать.
• Стратегия поиска определяет подход, используемый для исследования пространства поиска.
• Стратегия оценки производительности оценивает производительность возможной ИНС на этапе ее проектирования (без ее построения и обучения).

NAS тесно связан с оптимизацией гиперпараметров. и метаобучение и является подразделом автоматизированного машинного обучения (AutoML).

Обучение с подкреплением

Обучение с подкреплением (RL) может лежать в основе стратегии поиска NAS. Баррет Зоф и Куок Вьет Ле применил NAS с RL, ориентированным на набор данных CIFAR-10 , и получил сетевую архитектуру, которая по точности конкурирует с лучшей архитектурой, спроектированной вручную, с коэффициентом ошибок 3,65, что на 0,09 процента лучше и в 1,05 раза быстрее, чем у аналогичной модели, разработанной вручную. В наборе данных Penn Treebank эта модель составила рекуррентную ячейку, которая превосходит LSTM , достигая недоумения тестового набора 62,4, что на 3,6 лучше, чем у предыдущей ведущей системы. В задаче моделирования языка символов PTB удалось достичь числа битов на символ 1,214.

Изучение архитектуры модели непосредственно на большом наборе данных может оказаться длительным процессом. НАСНет решил эту проблему, перенеся строительный блок, предназначенный для небольшого набора данных, в более крупный набор данных. Проект был ограничен использованием двух типов сверточных ячеек для возврата карт объектов, которые выполняют две основные функции при свертке входной карты объектов: нормальные ячейки , которые возвращают карты одинакового размера (высота и ширина), и ячейки сокращения , в которых возвращается возвращенная карта объектов. высота и ширина уменьшаются в два раза. Для ячейки сокращения первоначальная операция, применяемая к входным данным ячейки, использует шаг, равный двум (чтобы уменьшить высоту и ширину). Изученный аспект проектирования включал в себя такие элементы, как то, какой нижний слой(и) каждый более высокий уровень использовал в качестве входных данных, преобразования, применяемые на этом уровне, и объединение нескольких выходных данных на каждом уровне. В изученном примере лучший сверточный слой (или «ячейка») был разработан для набора данных CIFAR-10, а затем применен к набору данных ImageNet путем складывания копий этой ячейки, каждая со своими собственными параметрами. Этот подход дал точность 82,7% для топ-1 и 96,2% для топ-5. Это превысило лучшие архитектуры, изобретенные человеком, при стоимости на 9 миллиардов FLOPS меньше — сокращение на 28%. Система продолжала превосходить альтернативу, разработанную вручную, на разных уровнях вычислений. Характеристики изображения, полученные в результате классификации изображений, можно перенести на другие задачи компьютерного зрения. Например, при обнаружении объектов обученные ячейки, интегрированные с платформой Faster-RCNN, улучшили производительность на 4,0% в наборе данных COCO .

В так называемом эффективном поиске нейронной архитектуры (ENAS) контроллер обнаруживает архитектуры, обучаясь поиску оптимального подграфа в большом графе. Контроллер обучен с помощью градиента политики выбирать подграф, который максимизирует ожидаемое вознаграждение набора проверки. Модель, соответствующая подграфу, обучается минимизировать потери канонической перекрестной энтропии . Несколько дочерних моделей имеют общие параметры, ENAS требует меньше графических часов, чем другие подходы, и в 1000 раз меньше, чем «стандартный» NAS. На CIFAR-10 конструкция ENAS достигла погрешности тестирования 2,89%, что сопоставимо с NASNet. На Penn Treebank конструкция ENAS достигла тестовой запутанности 55,8.

Эволюция

Альтернативный подход к NAS основан на эволюционных алгоритмах , которые использовались несколькими группами. Эволюционный алгоритм поиска нейронной архитектуры обычно выполняет следующую процедуру. Сначала инициализируется пул, состоящий из различных архитектур-кандидатов, а также их оценок валидации (пригодности). На каждом этапе архитектуры в пуле кандидатов изменяются (например: свертка 3х3 вместо свертки 5х5). Затем новые архитектуры обучаются с нуля в течение нескольких эпох и получаются их оценки валидации. За этим следует замена архитектур с наименьшим количеством баллов в пуле кандидатов на более качественные и новые архитектуры. Эта процедура повторяется несколько раз, и, таким образом, пул кандидатов со временем уточняется. Мутации в контексте развития ИНС — это такие операции, как добавление или удаление слоя, которые включают изменение типа слоя (например, от свертки к объединению), изменение гиперпараметров слоя или изменение обучающих гиперпараметров. На CIFAR-10 и ImageNet эволюции и RL работали примерно одинаково, хотя оба немного превосходили случайный поиск .

Байесовская оптимизация

Байесовская оптимизация (BO), которая зарекомендовала себя как эффективный метод оптимизации гиперпараметров, также может быть применена к NAS. В этом контексте целевая функция сопоставляет архитектуру с ошибкой ее проверки после обучения в течение нескольких эпох. На каждой итерации BO использует суррогат для моделирования этой целевой функции на основе ранее полученных архитектур и ошибок их проверки. Затем выбирают следующую архитектуру для оценки путем максимизации функции приобретения, например ожидаемого улучшения, которая обеспечивает баланс между исследованием и эксплуатацией. Максимизация функции сбора данных и оценка целевой функции часто требуют больших вычислительных затрат для NAS и усложняют применение BO в этом контексте. Недавно БАНАНЫ добился многообещающих результатов в этом направлении, представив высокопроизводительную реализацию BO, связанную с нейронным предсказателем.

Восхождение на холм

Другая группа использовала процедуру восхождения на холм , в которой применяются морфизмы сети, с последующими короткими прогонами оптимизации косинусного отжига. Этот подход дал конкурентоспособные результаты, потребовав ресурсов того же порядка, что и для обучения одной сети. Например, в CIFAR-10 метод спроектировал и обучил сеть с уровнем ошибок ниже 5% за 12 часов на одном графическом процессоре.

Многоцелевой поиск

Хотя большинство подходов направлены исключительно на поиск архитектуры с максимальной производительностью прогнозирования, для большинства практических приложений актуальны другие цели, такие как потребление памяти, размер модели или время вывода (т. е. время, необходимое для получения прогноза). Из-за этого исследователи создали многокритериальный поиск.

ЛИМОНАД — это эволюционный алгоритм, в котором принят ламаркизм для эффективной оптимизации множества целей. В каждом поколении создаются дочерние сети для улучшения границы Парето по отношению к текущей популяции ИНС.

Нейронный архитектор заявлено как многоцелевое NAS на базе RL с учетом ресурсов и возможностью прогнозирования производительности. Встраивание сети кодирует существующую сеть в обучаемый вектор внедрения. На основе внедрения сеть контроллера генерирует преобразования целевой сети. Многоцелевая функция вознаграждения учитывает точность сети, вычислительные ресурсы и время обучения. Награда прогнозируется с помощью нескольких сетей моделирования производительности, которые предварительно обучаются или обучаются совместно с сетью контроллера. Сеть контроллера обучается с помощью градиента политики. После модификации полученная сеть-кандидат оценивается как сетью точности, так и сетью времени обучения. Результаты объединяются механизмом вознаграждения, который передает выходные данные обратно в сеть контроллера.

Одноразовые модели

RL или NAS на основе эволюции требуют тысяч графо-дней поиска/обучения для достижения самых современных результатов компьютерного зрения, как описано в документах NASNet, mNASNet и MobileNetV3.

Чтобы снизить вычислительные затраты, многие современные методы NAS основаны на идее распределения веса. В этом подходе определяется одна сверхпараметризованная суперсеть (также известная как одноразовая модель). Суперсеть — это очень большой направленный ациклический граф (DAG), подграфы которого представляют собой различные нейронные сети-кандидаты. Таким образом, в суперсети веса распределяются между большим количеством различных подархитектур, имеющих общие ребра, каждое из которых рассматривается как путь внутри суперсети. Основная идея состоит в том, чтобы обучить одну суперсеть, охватывающую множество вариантов окончательного проекта, а не создавать и обучать тысячи сетей независимо. В дополнение к изученным параметрам изучается набор параметров архитектуры, отражающий предпочтение одного модуля перед другим. Такие методы сокращают необходимые вычислительные ресурсы до нескольких дней использования графического процессора.

Более поздние работы еще больше сочетают эту парадигму распределения веса с постоянным расслаблением пространства поиска. что позволяет использовать методы оптимизации на основе градиента. Эти подходы обычно называют дифференцируемыми NAS, и они оказались очень эффективными при исследовании пространства поиска нейронных архитектур. Одним из самых популярных алгоритмов среди градиентных методов для NAS является DARTS. Однако DARTS сталкивается с такими проблемами, как падение производительности из-за неизбежного скопления пропущенных соединений и плохой генерализации, которые были решены во многих будущих алгоритмах. Такие методы, как Целью является усиление DARTS и повышение точности проверки путем введения регуляризации на основе нормы Гессе и случайного сглаживания/состязательной атаки соответственно. Причина ухудшения производительности позже анализируется с точки зрения выбора архитектуры.

Дифференцируемый NAS показал, что дает конкурентоспособные результаты, используя часть времени поиска, требуемого методами поиска на основе RL. Например, FBNet (сокращение от Facebook Berkeley Network) продемонстрировала, что поиск на основе суперсетей создает сети, которые превосходят кривую компромисса между скоростью и точностью mNASNet и MobileNetV2 в наборе данных классификации изображений ImageNet. FBNet достигает этого, используя более чем в 400 раз меньше времени поиска, чем было использовано для mNASNet. Кроме того, SqueezeNAS продемонстрировал, что NAS на основе суперсети создает нейронные сети, которые превосходят кривую компромисса скорости и точности MobileNetV3 в наборе данных семантической сегментации Cityscapes, а SqueezeNAS использует более чем в 100 раз меньше времени поиска, чем было использовано в поиске на основе RL авторов MobileNetV3.

Тесты поиска нейронной архитектуры

Поиск нейронной архитектуры часто требует больших вычислительных ресурсов из-за дорогостоящих этапов обучения и оценки. Это также приводит к большому углеродному следу, необходимому для оценки этих методов. Чтобы преодолеть это ограничение, тесты NAS были введены, с помощью которых можно запрашивать или прогнозировать конечную производительность нейронных архитектур за считанные секунды. Тест NAS определяется как набор данных с фиксированным разделением поезд-тест, пространством поиска и фиксированным конвейером обучения (гиперпараметрами). В основном существует два типа тестов NAS: суррогатный тест NAS и табличный тест NAS. Суррогатный тест использует суррогатную модель (например, нейронную сеть) для прогнозирования производительности архитектуры на основе пространства поиска. С другой стороны, табличный тест оценивает фактическую производительность архитектуры, подготовленной к конвергенции. Оба этих теста доступны для запроса и могут использоваться для эффективного моделирования многих алгоритмов NAS, используя только ЦП для запроса теста вместо обучения архитектуры с нуля.

См. также

• Нейросетевой интеллект
• Автоматизированное машинное обучение
• Оптимизация гиперпараметров

Дальнейшее чтение

Обзорные статьи.

• Вистуба, Мартин; Рават, Амбриш; Педапати, Теджасвини (04 мая 2019 г.). «Опрос по поиску нейронной архитектуры». arXiv : 1905.01392 [ cs.LG ].
• Элскен, Томас; Метцен, Ян Хендрик; Хаттер, Фрэнк (8 августа 2019 г.). «Поиск нейронной архитектуры: опрос» . Журнал исследований машинного обучения . 20 (55): 1–21. arXiv : 1808.05377 .
• Лю, Юцяо; Сунь, Янан; Сюэ, Бин; Чжан, Мэнцзе; Йен, Гэри Дж; Тан, Кей Чен (2021). «Опрос по поиску эволюционной нейронной архитектуры». Транзакции IEEE в нейронных сетях и системах обучения . 34 (2): 1–21. arXiv : 2008.10937 . дои : 10.1109/TNNLS.2021.3100554 . ПМИД   34357870 . S2CID   221293236 .
• Уайт, Колин; Сафари, Махмуд; Суктанкер, Рея; Ру, Биньсинь; Элскен, Томас; Зела, Арбер; Дей, Дебадепта; Хаттер, Фрэнк (25 января 2023 г.). «Поиск нейронной архитектуры: выводы из 1000 статей». arXiv : 2301.08727 [ cs.LG ].