Мгновенно обучаемые нейронные сети

Нейронные сети с мгновенным обучением — это искусственные нейронные сети с прямой связью , которые создают новый скрытый нейронный узел для каждого нового обучающего образца. Веса этого скрытого нейрона выделяют не только эту обучающую выборку, но и другие, находящиеся рядом с ней, тем самым обеспечивая обобщение. ^[1]^[2] Это разделение осуществляется с использованием ближайшей гиперплоскости, которую можно записать мгновенно. В двух наиболее важных реализациях окрестность обобщения либо меняется в зависимости от обучающей выборки (сеть CC1), либо остается постоянной (сеть CC4). Эти сети используют унарное кодирование для эффективного представления наборов данных. ^[3]

Этот тип сети был впервые предложен в статье Субхаша Кака в 1993 году . ^[1] С тех пор нейронные сети с мгновенным обучением были предложены в качестве моделей краткосрочного обучения и использованы в веб-поиске и приложениях для прогнозирования финансовых временных рядов . ^[4] Они также использовались для мгновенной классификации документов. ^[5] а также для глубокого обучения и интеллектуального анализа данных . ^[6]^[7]

Как и в других нейронных сетях, их обычно используют в качестве программного обеспечения, но они также реализуются аппаратно с использованием FPGA. ^[8] и по оптической реализации . ^[9]

Сеть CC4

В сети CC4, которая представляет собой трехэтапную сеть, количество входных узлов на один больше, чем размер обучающего вектора, при этом дополнительный узел служит узлом смещения, входные данные которого всегда равны 1. Для двоичных входных векторов веса от входных узлов до скрытого нейрона (скажем, индекса j), соответствующие обученному вектору, определяются по следующей формуле:

w_{ij}={\begin{cases}-1,&{\mbox{for }}x_{i}=0\\+1,&{\mbox{for }}x_{i}=1\\r-s+1,&{\mbox{for }}i=n+1\end{cases}}

где $r$ – радиус обобщения и $s$ — вес Хэмминга (количество единиц) двоичной последовательности. От скрытого слоя до выходного слоя веса равны 1 или -1 в зависимости от того, принадлежит ли вектор данному выходному классу или нет. Нейроны в скрытом и выходном слоях выводят 1, если взвешенная сумма на входе равна 0 или положительна, и 0, если взвешенная сумма на входе отрицательна:

y=\left\{{\begin{matrix}1&{\mbox{if }}\sum x_{i}\geq 0\\0&{\mbox{if }}\sum x_{i}<0\end{matrix}}\right.

Другие сети

Сеть CC4 также была модифицирована и теперь включает недвоичные входные данные с различными радиусами обобщения, что позволяет эффективно реализовать реализацию CC1. ^[10]

В сетях обратной связи сеть Уилшоу, а также сеть Хопфилда способны обучаться мгновенно.

Ссылки

^ Перейти обратно: ^а ^б Kak, S. On training feedforward neural networks. Pramana, vol. 40, pp. 35-42, 1993 [1]
^ Как, С. Новые алгоритмы обучения нейронных сетей прямого распространения . Письма о распознавании образов 15: 295–298, 1994.
^ Как, С. Об обобщении с помощью нейронных сетей , Information Sciences 111: 293-302, 1998.
^ Как, С. Более быстрый поиск и прогнозирование в Интернете с использованием мгновенно обучаемых нейронных сетей. IEEE Intelligent Systems 14: 79-82, ноябрь/декабрь 1999 г.
^ Чжан З. и др., TextCC: Новая нейронная сеть прямого распространения для мгновенной классификации документов . Достижения в области нейронных сетей ISNN 2005. Конспекты лекций по информатике 3497: 232-237, 2005.
^ Чжан З. и др., Классификация документов с помощью TextCC на основе стереографической проекции и для глубокого обучения, Международная конференция по машинному обучению и кибернетике, Далин, 2006 г.
^ Шмидхубер, Дж. Глубокое обучение в нейронных сетях: обзор, arXiv:1404.7828, 2014 https://arxiv.org/abs/1404.7828
^ Чжу, Дж. и Г. Милн, Реализация нейронных сетей Kak на реконфигурируемой вычислительной платформе , Конспекты лекций по информатике, том 1896: 260-269, 2000.
^ Шортт, А., Дж. Г. Китинг, Л. Мулинье, К. Н. Паннелл, Оптическая реализация нейронной сети Как , Information Sciences 171: 273-287, 2005.
^ Тан, К.В. и Как, С. Сети быстрой классификации для обработки сигналов . Схемы, системы, обработка сигналов 21, 2002, стр. 207–224.

[kak93-1] Перейти обратно: ^а ^б Kak, S. On training feedforward neural networks. Pramana, vol. 40, pp. 35-42, 1993 [1]

[2] Как, С. Новые алгоритмы обучения нейронных сетей прямого распространения . Письма о распознавании образов 15: 295–298, 1994.

[3] Как, С. Об обобщении с помощью нейронных сетей , Information Sciences 111: 293-302, 1998.

[4] Как, С. Более быстрый поиск и прогнозирование в Интернете с использованием мгновенно обучаемых нейронных сетей. IEEE Intelligent Systems 14: 79-82, ноябрь/декабрь 1999 г.

[5] Чжан З. и др., TextCC: Новая нейронная сеть прямого распространения для мгновенной классификации документов . Достижения в области нейронных сетей ISNN 2005. Конспекты лекций по информатике 3497: 232-237, 2005.

[6] Чжан З. и др., Классификация документов с помощью TextCC на основе стереографической проекции и для глубокого обучения, Международная конференция по машинному обучению и кибернетике, Далин, 2006 г.

[7] Шмидхубер, Дж. Глубокое обучение в нейронных сетях: обзор, arXiv:1404.7828, 2014 https://arxiv.org/abs/1404.7828

[8] Чжу, Дж. и Г. Милн, Реализация нейронных сетей Kak на реконфигурируемой вычислительной платформе , Конспекты лекций по информатике, том 1896: 260-269, 2000.

[9] Шортт, А., Дж. Г. Китинг, Л. Мулинье, К. Н. Паннелл, Оптическая реализация нейронной сети Как , Information Sciences 171: 273-287, 2005.

[10] Тан, К.В. и Как, С. Сети быстрой классификации для обработки сигналов . Схемы, системы, обработка сигналов 21, 2002, стр. 207–224.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]