Модульная нейронная сеть
Модульная нейронная сеть — это искусственная нейронная сеть, характеризующаяся серией независимых нейронных сетей, модерируемых некоторым посредником. Каждая независимая нейронная сеть служит модулем и работает с отдельными входами для выполнения некоторой подзадачи задачи, которую сеть надеется выполнить. [1] Посредник принимает выходные данные каждого модуля и обрабатывает их для получения выходных данных сети в целом. Посредник принимает только выходные данные модулей — он не отвечает и не сигнализирует каким-либо иным образом модулям. Также модули не взаимодействуют друг с другом.
Биологическая основа
[ редактировать ]По мере развития исследований искусственных нейронных сетей вполне уместно, чтобы искусственные нейронные сети продолжали опираться на свое биологическое вдохновение и имитировать сегментацию и модуляризацию, обнаруженные в мозге. Мозг, например, делит сложную задачу зрительного восприятия на множество подзадач. [2] В части мозга , называемой таламусом , находится латеральное коленчатое ядро (ЛГН), которое разделено на слои, которые отдельно обрабатывают цвет и контраст: оба основных компонента зрения . [3] После того как LGN параллельно обрабатывает каждый компонент, он передает результат в другой регион для компиляции результатов.
Некоторые задачи, которые решает мозг, например зрение, используют иерархию подсетей. Однако неясно, связывает ли какой-либо посредник эти отдельные процессы воедино. Скорее, по мере того, как задачи становятся более абстрактными, модули взаимодействуют друг с другом, в отличие от модульной модели нейронной сети.
Дизайн
[ редактировать ]В отличие от одной большой сети, которой можно назначать произвольные задачи, каждому модулю в модульной сети разработчик должен назначить конкретную задачу и соединить ее с другими модулями определенными способами. В примере со зрением мозг эволюционировал (а не учился) создавать LGN. В некоторых случаях дизайнер может выбрать использование биологических моделей. В других случаях другие модели могут оказаться лучше. Качество результата будет зависеть от качества дизайна.
Сложность
[ редактировать ]Модульные нейронные сети сокращают одну большую и громоздкую нейронную сеть до более мелких, потенциально более управляемых компонентов. [1] Некоторые задачи непосильно велики для одной нейронной сети. К преимуществам модульных нейронных сетей относятся:
Эффективность
[ редактировать ]Возможные соединения нейронов (узлов) увеличиваются квадратично по мере добавления узлов в сеть. Время вычислений зависит от количества узлов и их соединений, любое увеличение имеет серьезные последствия для времени обработки. Назначение конкретных подзадач отдельным модулям сокращает количество необходимых подключений.
Обучение
[ редактировать ]Большая нейронная сеть, пытающаяся смоделировать несколько параметров, может пострадать от помех, поскольку новые данные могут изменить существующие связи или просто запутать. Каждый модуль можно обучить самостоятельно и точнее освоить свою более простую задачу. обучения Это означает, что алгоритм и обучающие данные могут быть реализованы быстрее.
Надежность
[ редактировать ]Независимо от того, является ли большая нейронная сеть биологической или искусственной, она по-прежнему в значительной степени подвержена помехам и сбоям в любом из своих узлов. За счет разделения подзадач гораздо легче диагностировать сбои и помехи, а их влияние на другие подсети устраняется, поскольку каждая из них независима от другой.
Примечания
[ редактировать ]Ссылки
[ редактировать ]- Азам, Фарук (2000). «Биологически обоснованные модульные нейронные сети. Кандидатская диссертация» . Вирджинский технологический институт. hdl : 10919/27998 .
- Хаппель, Барт; Мурре, Джейкоб (1994). «Проектирование и эволюция модульных архитектур нейронных сетей» (PDF) . Нейронные сети . 7 (6–7): 985–1004. дои : 10.1016/s0893-6080(05)80155-8 . [ постоянная мертвая ссылка ]
- Хьюбель, Д.Х.; Ливингстон, MS (1990). «Цветовая и контрастная чувствительность латерального коленчатого тела и первичной зрительной коры макаки» . Журнал неврологии . 10 (7): 2223–2237. doi : 10.1523/JNEUROSCI.10-07-02223.1990 . ПМК 6570379 . ПМИД 2198331 .
- Тахмасеби, П.; Хезархани, А. (2011). «Применение модульной прямой связи для оценки оценок». Исследования природных ресурсов . 20 (1): 25–32. дои : 10.1007/s11053-011-9135-3 . S2CID 45997840 .
- Клюн, Джефф; Муре, Жан-Батист; Липсон, Ход (30 января 2013 г.). «Эволюционные истоки модульности» . Труды Королевского общества B: Биологические науки . 280 (1755): 20122863.arXiv : 1207.2743 . дои : 10.1098/rspb.2012.2863 . ISSN 0962-8452 . ПМЦ 3574393 . ПМИД 23363632 .
- Тахмасеби, Пейман; Хезархани, Ардешир (2012). «Быстрая и независимая архитектура искусственной нейронной сети для прогнозирования проницаемости». Журнал нефтяной науки и техники . 86 : 118–126. Бибкод : 2012JPSE...86..118T . doi : 10.1016/j.petrol.2012.03.019 .