АлексНет

Сравнение свертки, объединения и плотных слоев LeNet и AlexNet
(Размер изображения AlexNet должен быть 227×227×3, а не 224×224×3, чтобы математические расчеты были верными. В исходной статье были указаны другие цифры, но Андрей Карпати, бывший руководитель отдела компьютерного зрения в Tesla, сказал это должно быть 227×227×3 (он сказал, что Алекс не объяснил, почему он поставил 224×224×3. Следующая свертка должна быть 11×11 с шагом 4: 55×55×96 (вместо 54×54×96). ). Это будет рассчитываться, например, как: [(входная ширина 227 - ширина ядра 11) / шаг 4] + 1 = [(227 - 11) / 4] + 1 = 55. Поскольку выходные данные ядра одинаковы. длина равна ширине, его площадь 55х55.)

AlexNet — это название архитектуры сверточной нейронной сети (CNN), разработанной Алексом Крижевским в сотрудничестве с Ильей Суцкевером и Джеффри Хинтоном , который был доктором философии Крижевского. советник Университета Торонто.

AlexNet участвовал в конкурсе ImageNet Large Scale Visual Recognition Challenge 30 сентября 2012 года. Сеть достигла ошибки топ-5 в 15,3%, что более чем на 10,8 процентных пункта ниже, чем у занявшего второе место. Основной результат исходной статьи заключался в том, что глубина модели была важна для ее высокой производительности, что было дорогостоящим в вычислительном отношении, но стало возможным благодаря использованию графических процессоров (GPU) во время обучения.

Исторический контекст

AlexNet был не первой быстрой реализацией CNN на графическом процессоре, выигравшей конкурс по распознаванию изображений. CNN на GPU, автор: К. Челлапилла и др. (2006) было в 4 раза быстрее, чем эквивалентная реализация на ЦП. Глубокий CNN Дэна Чирешана и др. (2011) в IDSIA было уже в 60 раз быстрее и превзошли своих предшественников в августе 2011 года. С 15 мая 2011 г. по 10 сентября 2012 г. их канал CNN выиграл не менее четырех имиджевых конкурсов. Они также значительно улучшили лучшую производительность, описанную в литературе, для баз данных с несколькими изображениями .

По данным статьи AlexNet, Более ранние ворота Чирешана «в чем-то похожи». Оба изначально были написаны с использованием CUDA для работы с поддержкой графического процессора . Фактически, оба на самом деле являются просто вариантами конструкций CNN, представленными Яном ЛеКуном и др. (1989) который применил алгоритм обратного распространения ошибки к варианту Кунихико Фукусимы оригинальной архитектуры CNN , названному « неокогнитрон ». Позднее архитектура была модифицирована методом Дж. Венга под названием max-pooling .

В 2015 году AlexNet уступил проекту Microsoft Research Asia с более чем 100 слоями , который выиграл конкурс ImageNet 2015.

Сетевой дизайн

AlexNet содержит восемь слоев: первые пять являются сверточными слоями, за некоторыми из них следуют слои максимального пула , а последние три являются полносвязными слоями. Сеть, за исключением последнего слоя, разделена на две копии, каждая из которых работает на одном графическом процессоре. Всю структуру можно записать так:

$$(CNN\to RN\to MP)^{2}\to (CNN^{3}\to MP)\to (FC\to DO)^{2}\to Linear\to softmax$$

где

• CNN = сверточный слой (с активацией ReLU)
• RN = нормализация местного ответа
• MP = максимальное объединение
• FC = полносвязный уровень (с активацией ReLU)
• Линейный = полностью связный слой (без активации)
• ДО = отсев

Он использовал ненасыщающую функцию активации ReLU , которая показала улучшенную эффективность тренировки по сравнению с tanh и сигмовидной мышцей .

Влияние

AlexNet считается одной из самых влиятельных статей, опубликованных в области компьютерного зрения, что послужило толчком к публикации многих других статей, в которых используются CNN и графические процессоры для ускорения глубокого обучения . По данным Google Scholar, по состоянию на начало 2023 года статья AlexNet цитировалась более 120 000 раз.