Началов3
Начало V3 [ 1 ] [ 2 ] является сверточной нейронной сетью (CNN) для оказания помощи в анализе изображений и обнаружении объектов , и получила ее начало как модуль для Googlenet. Это третье издание основополагающей нейронной сети Google, первоначально представленное во время задачи распознавания ImageNet. начала . Конструкция [ 1 ]
Так же, как ImageNet можно рассматривать как базу данных классифицированных визуальных объектов, начало помогает классифицировать объекты [ 3 ] В мире компьютерного видения . Архитектура начала. Одним из таких использования в науках о жизни , где он помогает в исследованиях лейкемии . [ 4 ]
Исторически это было важно как ранний CNN, который отделяет ствол (проглатывание данных), тело (обработка данных) и голова (прогноз), архитектурный дизайн, который сохраняется во всех современных CNN. [ 5 ]
История версий
[ редактировать ]Начало V1
[ редактировать ]
В 2014 году команда Google разработала Googlenet, которая выиграла масштабную задачу ImageNet в 2014 году (ILSVRC14). Название пришло от Lenet 1998 года, так как Lenet и Googlenet являются CNNS. Они также назвали это «начальным» после «нам нужно пойти глубже» в интернет -меме, фразу из « Начального » (2010) в фильме. [ 1 ] Поскольку позже было выпущено больше версий, оригинальная архитектура основания была снова переименована в «Начало V1».
Модели и код были выпущены по лицензии Apache 2.0 на GitHub. [ 6 ]
Архитектура «Начало V1» представляет собой глубокий CNN, состоящий из 22 слоев. Большинство из этих слоев были «модулями основания». В оригинальной статье говорится, что модули основания являются «логической кульминацией» сети в сети [ 7 ] и. [ 8 ]
Поскольку начало V1 глубоко, он страдал от проблемы исчезновения градиента . Команда решила его, используя два «вспомогательных классификатора», которые представляют собой линейные классификаторы Softmax, вставленные в 1/3-глупление и 2/3 Deep в сети, а функция потери-взвешенная сумма всех трех:
Они были удалены после завершения тренировок. Позже это было решено архитектурой Resnet .
Архитектура состоит из трех частей, сложенных друг на друга: [ 5 ]
- STEM (проглатывание данных): первые несколько сверточных слоев выполняют предварительную обработку данных к снижению изображений до меньшего размера.
- Тело (обработка данных): следующие многие модули основания выполняют основную часть обработки данных.
- Голова (прогноз): конечный полностью подключенный слой и Softmax создают распределение вероятностей для классификации изображений.
Эта структура используется в большинстве современных архитектур CNN.
Начало V2
[ редактировать ]Начало V2 было выпущено в. [ 9 ] Это улучшает начало V1 с использованием факторных свертков. Например, одна свертка 5 × 5 может быть учтена в 3 × 3, сложенную сверху 3 × 3.
Оба имеют восприимчивое поле размера 5 × 5. Ядро свертков 5 × 5 имеет 25 параметров по сравнению с 18 в факторизованной версии. Таким образом, свертка 5 × 5 строго более мощная, чем факторная версия. Однако эта сила не обязательно необходима. Эмпирически исследовательская группа обнаружила, что факторизированные свертки помогают.
Начало V3
[ редактировать ]Начало V3 также было выпущено в. [ 9 ] Он улучшается в начале v2, используя
- RMSProp Optimizer
- Факторизированные 7 × 7 сверг
- Batchnorm в вспомогательных классификаторах
- Сглаживание метки [ 10 ]
Начало V4
[ редактировать ]В [ 11 ] Команда выпустила начало V4, начало Resnet V1 и Inception Resnet v2.
Начало V4 является постепенным обновлением с еще более факторизированными свержениями, и другие осложнения, которые были эмпирически обнаружены для улучшения критериев.
Начало RESNET V1 и V2 являются модификациями начала V4, где остаточные соединения добавляются в каждый модуль основания.
Ссылки
[ редактировать ]- ^ Jump up to: а беременный в Сегедди, христианин; Вэй Лю; Символ Бога; Серманет, Пьер; Рид, Скотт; Ангуерова, Драгомир; Эрхан, Думитру; Ванхук, Винсент; Рабинович, Эндрю (июнь 2015 г.). «Подойдет глубже с свертыми» . IEEE: 1–9. Onxiv : 1409.4842 . DOO : 10.1109/CVPR.2015.7298594 . ISBN 978-1-4673-6964-0 .
{{cite journal}}: CITE Journal требует|journal=( помощь ) - ^ Тан (май 2018). Интеллектуальные мобильные проекты с TensorFlow . Packt Publishing. с. Глава 2. ISBN 9781788834544 .
- ^ Карим и Закконе (март 2018 г.). Глубокое обучение с Tensorflow . Packt Publishing. с. Глава 4. ISBN 9781788831109 .
- ^ Милтон-Баркер, Адам. «Начало V3 глубокая сверточная архитектура для классификации острого миелоидного/лимфобластного лейкоза» . Intel.com . Intel . Получено 2 февраля 2019 года .
- ^ Jump up to: а беременный Чжан, Астон; Липтон, Захари; Ли, му; Смола, Александр Дж. (2024). «8.4. Многоразвинные сети (Googlenet)» . Погрузитесь в глубокое обучение . Кембридж Нью -Йорк Порт Мельбурн Нью -Дели Сингапур: издательство Кембриджского университета. ISBN 978-1-009-38943-3 .
- ^ Google/Начало , Google, 2024-08-19 , получен 2024-08-19
- ^ Лин, мин; Чен, Цянь; Yan, Shuicheng (2014-03-04), сеть в сети , doi : 10.48550/arxiv.1312.4400 , извлечен 2024-08-19
- ^ Арора, Санджив; Бхаскара, Адитья; Ge, rong; MA, Tengyu (2014-01-27). «Доводимые границы для изучения некоторых глубоких представлений» . Материалы 31 -й Международной конференции по машинному обучению . PMLR: 584–592.
- ^ Jump up to: а беременный Ioffe, Сергей; Szegedy, Christian (2015-03-02), Нормализация пакетов: ускорение глубокой сети, уменьшая внутренний ковариатный сдвиг , DOI : 10.48550/arxiv.1502.03167 , полученные 2024-08-19
- ^ Мюллер, Рафаэль; Корнблит, Саймон; Хинтон, Джеффри Э. (2019). "Когда справляется сглаживание этикетки?" Полем Достижения в системах обработки нейронной информации . 32 Curran Associates, Inc.
- ^ Сегедди, христианин; Ioffe, Сергей; Ванхук, Винсент; Алеми, Александр (2017-02-12). «Начало v4, начальный рестет и влияние остаточных соединений на обучение» . Труды конференции АААИ по искусственному интеллекту . 31 (1). Arxiv : 1602.07261 . doi : 10.1609/aaai.v31i1.11231 . ISSN 2374-3468 .