Слой (глубокое обучение)

Уровень в модели глубокого обучения — это структура или топология сети в архитектуре модели, которая берет информацию из предыдущих уровней и затем передает ее на следующий уровень.

Типы слоев

Первый тип слоя — это плотный слой , также называемый полносвязным слоем . ^[1]^[2]^[3] и используется для абстрактных представлений входных данных. В этом слое нейроны соединяются с каждым нейроном предыдущего слоя. В многослойных перцептронных сетях эти уровни сложены вместе.

Сверточный слой ^[4] обычно используется для задач анализа изображений. На этом слое сеть обнаруживает края, текстуры и узоры. Выходные данные этого слоя затем передаются на полносвязный уровень для дальнейшей обработки. См. также: Модель CNN .

Слой объединения ^[5]^[6] используется для уменьшения размера вводимых данных.

Рекуррентный слой используется для обработки текста с помощью функции памяти. Подобно сверточному слою, выходные данные рекуррентных слоев обычно передаются в полносвязный слой для дальнейшей обработки. См. также: Модель RNN . ^[7]^[8]^[9]

Уровень нормализации корректирует выходные данные предыдущих слоев для достижения равномерного распределения. Это приводит к улучшению масштабируемости и обучению модели.

— Скрытый слой это любой из слоев нейронной сети , который не является входным или выходным слоем.

Различия со слоями неокортекса

Существует внутренняя разница между многоуровневым обучением и неокортикальным многоуровневым слоем : многоуровневое глубокое обучение зависит от топологии сети внутри слоев , тогда как неокортикальное многоуровневое образование зависит от однородности .

См. также

Ссылки

^ «Сверточные нейронные сети CS231n для визуального распознавания» . CS231n Сверточные нейронные сети для визуального распознавания . 10 мая 2016 года . Проверено 27 апреля 2021 г. Полносвязный уровень. Нейроны в полностью связанном слое имеют полные связи со всеми активациями на предыдущем уровне, как это видно в обычных нейронных сетях.
^ «Полносвязный слой» . МАТЛАБ . 1 марта 2021 г. Проверено 27 апреля 2021 г. Полностью связный слой умножает входные данные на матрицу весов, а затем добавляет вектор смещения.
^ Жерон, Орельен (2019). Практическое машинное обучение с помощью Scikit-Learn, Keras и TensorFlow: концепции, инструменты и методы построения интеллектуальных систем . Севастополь, Калифорния: O'Reilly Media, Inc., стр. 322–323. ISBN 978-1-4920-3264-9 . OCLC 1124925244 .
^ Хабиби, Агдам, Хамед (30 мая 2017 г.). Руководство по сверточным нейронным сетям: практическое применение для обнаружения и классификации дорожных знаков . Херави, Эльназ Джахани. Чам, Швейцария. ISBN 9783319575490 . OCLC 987790957 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) CS1 maint: несколько имен: список авторов ( ссылка )
^ Ямагути, Коичи; Сакамото, Кендзи; Акабане, Тосио; Фудзимото, Ёсидзи (ноябрь 1990 г.). Нейронная сеть для независимого от говорящего распознавания изолированных слов . Первая международная конференция по обработке разговорной речи (ICSLP 90). Кобе, Япония.
^ Чиресан, Дэн; Мейер, Ули; Шмидхубер, Юрген (июнь 2012 г.). «Многостолбцовые глубокие нейронные сети для классификации изображений». Конференция IEEE 2012 по компьютерному зрению и распознаванию образов . Нью-Йорк, штат Нью-Йорк: Институт инженеров по электротехнике и электронике (IEEE). стр. 3642–3649. arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . дои : 10.1109/CVPR.2012.6248110 . ISBN 978-1-4673-1226-4 . OCLC 812295155 . S2CID 2161592 .
^ Дюпон, Сэмюэл (2019). «Тщательный обзор текущего развития структур нейронных сетей» . Ежегодные обзоры под контролем . 14 : 200–230.
^ Абиодун, г-н Исаак; Джантхан, Аман; Омолара, Абиодун Эстер; Мать, Химическая Виктория; Мохаммед, Начат Абделатиф; Аршад, Хумайра (01 ноября 2018 г.). «Современное состояние приложений искусственных нейронных сетей: обзор» . Гелион 4 (11):e0 Бибкод : 2018Вертолет... 400938A doi : 10.1016/j.helion.2018.e00938 . ISSN 2405-8440 . ПМК 6260436 . ПМИД 30519653 .
^ Тилаб, Ахмед (01 декабря 2018 г.). «Прогнозирование временных рядов с использованием методологий искусственных нейронных сетей: систематический обзор» . Журнал будущих вычислений и информатики . 3 (2): 334–340. дои : 10.1016/j.fcij.2018.10.003 . ISSN 2314-7288 .

[CS231n_Convolutional_Neural_Networks_for_Visual_Recognition_2016-1] «Сверточные нейронные сети CS231n для визуального распознавания» . CS231n Сверточные нейронные сети для визуального распознавания . 10 мая 2016 года . Проверено 27 апреля 2021 г. Полносвязный уровень. Нейроны в полностью связанном слое имеют полные связи со всеми активациями на предыдущем уровне, как это видно в обычных нейронных сетях.

[MATLAB_2021-2] «Полносвязный слой» . МАТЛАБ . 1 марта 2021 г. Проверено 27 апреля 2021 г. Полностью связный слой умножает входные данные на матрицу весов, а затем добавляет вектор смещения.

[Géron_2019_p.-3] Жерон, Орельен (2019). Практическое машинное обучение с помощью Scikit-Learn, Keras и TensorFlow: концепции, инструменты и методы построения интеллектуальных систем . Севастополь, Калифорния: O'Reilly Media, Inc., стр. 322–323. ISBN 978-1-4920-3264-9 . OCLC 1124925244 .

[4] Хабиби, Агдам, Хамед (30 мая 2017 г.). Руководство по сверточным нейронным сетям: практическое применение для обнаружения и классификации дорожных знаков . Херави, Эльназ Джахани. Чам, Швейцария. ISBN 9783319575490 . OCLC 987790957 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) CS1 maint: несколько имен: список авторов ( ссылка )

[Yamaguchi111990-5] Ямагути, Коичи; Сакамото, Кендзи; Акабане, Тосио; Фудзимото, Ёсидзи (ноябрь 1990 г.). Нейронная сеть для независимого от говорящего распознавания изолированных слов . Первая международная конференция по обработке разговорной речи (ICSLP 90). Кобе, Япония.

[mcdns-6] Чиресан, Дэн; Мейер, Ули; Шмидхубер, Юрген (июнь 2012 г.). «Многостолбцовые глубокие нейронные сети для классификации изображений». Конференция IEEE 2012 по компьютерному зрению и распознаванию образов . Нью-Йорк, штат Нью-Йорк: Институт инженеров по электротехнике и электронике (IEEE). стр. 3642–3649. arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . дои : 10.1109/CVPR.2012.6248110 . ISBN 978-1-4673-1226-4 . OCLC 812295155 . S2CID 2161592 .

[7] Дюпон, Сэмюэл (2019). «Тщательный обзор текущего развития структур нейронных сетей» . Ежегодные обзоры под контролем . 14 : 200–230.

[8] Абиодун, г-н Исаак; Джантхан, Аман; Омолара, Абиодун Эстер; Мать, Химическая Виктория; Мохаммед, Начат Абделатиф; Аршад, Хумайра (01 ноября 2018 г.). «Современное состояние приложений искусственных нейронных сетей: обзор» . Гелион 4 (11):e0 Бибкод : 2018Вертолет... 400938A doi : 10.1016/j.helion.2018.e00938 . ISSN 2405-8440 . ПМК 6260436 . ПМИД 30519653 .

[9] Тилаб, Ахмед (01 декабря 2018 г.). «Прогнозирование временных рядов с использованием методологий искусственных нейронных сетей: систематический обзор» . Журнал будущих вычислений и информатики . 3 (2): 334–340. дои : 10.1016/j.fcij.2018.10.003 . ISSN 2314-7288 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]