Случайная нейронная сеть

Случайная нейронная сеть ( RNN ) ^[1] Это математическое представление взаимосвязанной сети нейронов или клеток , которые обмениваются импульсными сигналами . Он был изобретен Эролом Геленбе и связан с моделью G-сети сетей массового обслуживания, а также с моделями генной регуляторной сети. Каждое состояние клетки представлено целым числом, значение которого увеличивается, когда клетка получает возбуждающий импульс, и падает, когда она получает тормозящий импульс. Пики могут возникать за пределами самой сети или из других ячеек сети. Ячейкам, чье внутреннее состояние возбуждения имеет положительное значение, разрешено посылать импульсы любого типа другим ячейкам в сети в соответствии с определенной частотой импульсов, зависящей от клетки. Модель имеет математическое решение в установившемся режиме, которое обеспечивает совместное распределение вероятностей сети с точки зрения отдельных вероятностей того, что каждая ячейка возбуждена и способна посылать импульсы. Вычисление этого решения основано на решении набора нелинейных алгебраических уравнений, чьи параметры связаны со скоростью всплесков в отдельных ячейках и их связностью с другими ячейками, а также со скоростью поступления всплесков извне сети. RNN — это рекуррентная модель, то есть нейронная сеть, которая может иметь сложные петли обратной связи. ^[2]

Высокоэнергетическую реализацию случайных нейронных сетей продемонстрировали Кришна Палем и др. с использованием технологии Probabilistic CMOS или PCMOS и было показано, что это c. В 226–300 раз более эффективен с точки зрения энергоэффективности продукта. ^[3]

RNN также связаны с искусственными нейронными сетями , которые (как и случайная нейронная сеть) имеют алгоритмы обучения на основе градиента . Алгоритм обучения n-узловой случайной нейронной сети, включающей петли обратной связи (она же рекуррентная нейронная сеть ), имеет вычислительную сложность O(n^3) (количество вычислений пропорционально кубу n, числу нейроны). Случайную нейронную сеть также можно использовать с другими алгоритмами обучения, такими как обучение с подкреплением . Было показано, что RNN является универсальным аппроксиматором ограниченных и непрерывных функций .

См. также [ править ]

Линейно-нелинейно-пуассоновская каскадная модель

Ссылки и источники [ править ]

Ссылки

^ Эрол Геленбе. «Случайные нейронные сети с отрицательными и положительными сигналами и решение в виде продукта» . Нейронные вычисления, Vol. 1, № 4, стр. 502–510, 1989, MIT Press.
^ Эрол Геленбе. «Обучение в рекуррентной случайной нейронной сети» (PDF) . Нейронные вычисления, Vol. 5, № 1, стр. 154–164, 1993, MIT Press.
^ Лакшми Н. Чакрапани; Бильге Э.С. Акгуль; Суреш Чемалавагу; Пинар Коркмаз; Кришна В. Палем; Баласубраманиан Сешасаи. «Сверхэффективные встраиваемые архитектуры SOC на основе вероятностной технологии CMOS (PCMOS)» . Конференция по автоматизации проектирования и испытаний в Европе (DATE), 2006 г.

Источники

Э. Геленбе, Случайные нейронные сети с отрицательными и положительными сигналами и решение в виде продукта, Neural Computation, vol. 1, нет. 4, стр. 502–511, 1989.
Э. Геленбе, Устойчивость модели случайной нейронной сети, Neural Computation, вып. 2, нет. 2, стр. 239–247, 1990.
Э. Геленбе, А. Стафилопатис и А. Ликас, Операция ассоциативной памяти в модели случайной сети, в Proc. Межд. Конф. Искусственные нейронные сети, Хельсинки, стр. 307–312, 1991.
Э. Геленбе, Ф. Бэтти, Покрытие графа минимальной стоимости с помощью случайной нейронной сети, Информатика и исследования операций, О. Балчи (редактор), Нью-Йорк, Пергамон, стр. 139–147, 1992.
Э. Геленбе, Обучение в рекуррентной случайной нейронной сети, Neural Computation, vol. 5, нет. 1, стр. 154–164, 1993.
Геленбе Э., Куби В., Пекергин Ф., Метод динамических случайных нейронных сетей для решения задачи коммивояжера, Труды. IEEE симп. Syst., Man, Cybern., стр. 630–635, 1993.
Э. Геленбе, К. Крамер, М. Сунгур, П. Геленбе «Трафик и качество видео при адаптивном нейронном сжатии», Multimedia Systems , 4, 357–369, 1996.
К. Крамер, Э. Геленбе, Х. Бакирджиоглу Сжатие видео с низкой скоростью передачи данных с помощью нейронных сетей и временной субдискретизации, Proceedings of the IEEE, Vol. 84, № 10, стр. 1529–1543, октябрь 1996 г.
Э. Геленбе, Т. Фенг, К.Р.Р. Кришнан Нейросетевые методы объемной магнитно-резонансной томографии головного мозга человека, Труды IEEE, Vol. 84, № 10, стр. 1488–1496, октябрь 1996 г.
Э. Геленбе, А. Ганвани, В. Шринивасан, «Улучшенная нейронная эвристика для многоадресной маршрутизации», IEEE J. Selected Areas in Communications , 15, (2), 147–155, 1997.
Э. Геленбе, Ж.Х. Мао и Ю.Д. Ли, «Аппроксимация функции с помощью случайной нейронной сети», IEEE Trans. Нейронные сети , 10, (1), январь 1999 г. ^{[ нужна страница ]}
Э. Геленбе, Ж. М. Фурно «Случайные нейронные сети с несколькими классами сигналов», Neural Computation , 11, 721–731, 1999.
Угур Халичи «Обучение с подкреплением с внутренним ожиданием для случайной нейронной сети», Европейский журнал операционных исследований 126 (2): 288–307, 2000.
Аристидис Ликас, Андреас Стафилопатис «Обучение случайной нейронной сети с использованием квазиньютоновских методов», Европейский журнал операционных исследований 126 (2): 331–339, 2000.
Самир Мохамед, Херардо Рубино, Мартин Варела «Оценка производительности речи в реальном времени через пакетную сеть: подход на основе случайных нейронных сетей», Perform. Эвал. 57 (2): 141–161, 2004.
Э. Геленбе, З.-Х. Мао и Я.Д. Ли «Аппроксимация функций случайными нейронными сетями с ограниченным числом слоев», «Дифференциальные уравнения и динамические системы», 12 (1&2), 143–170, январь, апрель 2004 г.
Херардо Рубино, Пьер Тирилли, Мартин Варела «Оценка удовлетворенности пользователей пакетными сетями с использованием случайных нейронных сетей», ICANN (1) 2006: 303–312, 2006.
Гюлай Оке и Георгиос Лукас. Детектор отказа в обслуживании, основанный на обнаружении максимального правдоподобия и случайной нейронной сети. Компьютерный журнал, 50 (6): 717–727, ноябрь 2007 г.
С. Тимотеу. Обучение неотрицательным методом наименьших квадратов для случайной нейронной сети. В материалах 18-й Международной конференции по искусственным нейронным сетям, Прага, Чехия, страницы 195–204, 2008 г.
С. Тимотеу. Новый метод инициализации веса для случайной нейронной сети. На Пятом международном симпозиуме по нейронным сетям (ISNN), Пекин, Китай, 2008 г.
Стелиос Тимофеу. «Случайная нейронная сеть: исследование», Comput. Дж. 53 (3): 251–267, 2010.
Педро Касас, Сандрин Ватон. «Об использовании случайных нейронных сетей для оценки матрицы трафика в крупномасштабных IP-сетях», IWCMC 2010: 326–330, 2010.
С. Бастеррек, Г. Рубино, «Случайная нейронная сеть как контролируемый инструмент обучения», Neural Network World, 25 (5), 457-499, doi : 10.14311/NNW.2015.25.024 , 2015.
С. Бастеррек, С. Мохамед, Г. Рубино, М. Солиман. «Алгоритмы обучения Левенберга-Марквардта для случайных нейронных сетей», Computer Journal, 54 (1), 125–135, 2011.
Майкл Георгиопулос, Конг Ли и Таскин Кочак. «Обучение в случайной нейронной сети с прямой связью: критический обзор», Performance Evaluation, 68 (4): 361–384, 2011.

[1] Эрол Геленбе. «Случайные нейронные сети с отрицательными и положительными сигналами и решение в виде продукта» . Нейронные вычисления, Vol. 1, № 4, стр. 502–510, 1989, MIT Press.

[2] Эрол Геленбе. «Обучение в рекуррентной случайной нейронной сети» (PDF) . Нейронные вычисления, Vol. 5, № 1, стр. 154–164, 1993, MIT Press.

[3] Лакшми Н. Чакрапани; Бильге Э.С. Акгуль; Суреш Чемалавагу; Пинар Коркмаз; Кришна В. Палем; Баласубраманиан Сешасаи. «Сверхэффективные встраиваемые архитектуры SOC на основе вероятностной технологии CMOS (PCMOS)» . Конференция по автоматизации проектирования и испытаний в Европе (DATE), 2006 г.

[1]

[2]

[3]