Рекурсивная нейронная сеть
Рекурсивная нейронная сеть — это своего рода глубокая нейронная сеть, применения одного и того же набора весов созданная путем рекурсивного к структурированным входным данным для создания структурированного прогноза по входным структурам переменного размера или скалярного прогноза для них путем обхода заданной структуры в топологический порядок . Рекурсивные нейронные сети, иногда сокращенно называемые RvNN, добились успеха, например, в изучении последовательностей и древовидных структур при обработке естественного языка , в основном непрерывных представлений фраз и предложений на основе встраивания слов . RvNN были впервые использованы для изучения распределенных представлений структур, таких как логические термины . [1] Модели и общие рамки разрабатывались в дальнейших работах, начиная с 1990-х годов. [2] [3]
Архитектуры
[ редактировать ]Базовый
[ редактировать ]
В самой простой архитектуре узлы объединяются в родительские узлы с использованием весовой матрицы, которая является общей для всей сети, и нелинейности, такой как tanh . Если c 1 и c 2 являются n -мерным векторным представлением узлов, их родительским элементом также будет n -мерный вектор, вычисляемый как
![{\displaystyle p_{1,2}=\tanh \left(W[c_{1};c_{2}]\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6987af6182af39692701b8272fa8144516092e2b)
Где W — ученый весовая матрица.
Эта архитектура с некоторыми улучшениями использовалась для успешного анализа естественных сцен, синтаксического анализа предложений естественного языка, [4] а также рекурсивное автокодирование и генеративное моделирование трехмерных структур фигур в форме кубоидных абстракций. [5]
Рекурсивная каскадная корреляция (RecCC)
[ редактировать ]RecCC — это конструктивный подход нейронной сети для работы с древовидными доменами. [2] с новаторскими приложениями в химии [6] и расширение до ориентированных ациклических графов . [7]
Неконтролируемый РНН
[ редактировать ]Структура неконтролируемой RNN была введена в 2004 году. [8] [9]
Тензор
[ редактировать ]Рекурсивные нейронные тензорные сети используют одну тензорную функцию композиции для всех узлов дерева. [10]
Обучение
[ редактировать ]Стохастический градиентный спуск
[ редактировать ]Обычно стохастический градиентный спуск для обучения сети используется (SGD). Градиент вычисляется с использованием обратного распространения ошибки по структуре (BPTS), варианта обратного распространения ошибки по времени, используемого для рекуррентных нейронных сетей .
Характеристики
[ редактировать ]Универсальная аппроксимационная способность RNN над деревьями доказана в литературе. [11] [12]
Похожие модели
[ редактировать ]Рекуррентные нейронные сети
[ редактировать ]Рекуррентные нейронные сети — это рекурсивные искусственные нейронные сети с определенной структурой: линейной цепочкой. В то время как рекурсивные нейронные сети работают с любой иерархической структурой, объединяя дочерние представления с родительскими представлениями, рекуррентные нейронные сети работают с линейной прогрессией времени, объединяя предыдущий временной шаг и скрытое представление в представление для текущего временного шага.
Сети состояний древовидного эха
[ редактировать ]Эффективный подход к реализации рекурсивных нейронных сетей обеспечивается сетью состояний Tree Echo. [13] в рамках парадигмы пластовых вычислений .
Расширение для графиков
[ редактировать ]Расширения графов включают графовую нейронную сеть (GNN), [14] Нейронная сеть для графов (NN4G), [15] а в последнее время — сверточные нейронные сети для графов.
Ссылки
[ редактировать ]- ^ Голлер, К.; Кюхлер, А. (1996). «Изучение распределенных представлений, зависящих от задачи, путем обратного распространения ошибки через структуру». Материалы Международной конференции по нейронным сетям (ICNN'96) . Том. 1. С. 347–352. CiteSeerX 10.1.1.52.4759 . дои : 10.1109/ICNN.1996.548916 . ISBN 978-0-7803-3210-2 . S2CID 6536466 .
- ^ Jump up to: а б Спердути, А.; Старита, А. (1 мая 1997 г.). «Управляемые нейронные сети для классификации структур». Транзакции IEEE в нейронных сетях . 8 (3): 714–735. дои : 10.1109/72.572108 . ISSN 1045-9227 . ПМИД 18255672 .
- ^ Фраскони, П.; Гори, М.; Спердути, А. (1 сентября 1998 г.). «Общая основа адаптивной обработки структур данных». Транзакции IEEE в нейронных сетях . 9 (5): 768–786. CiteSeerX 10.1.1.64.2580 . дои : 10.1109/72.712151 . ISSN 1045-9227 . ПМИД 18255765 .
- ^ Сошер, Ричард; Лин, Клифф; Нг, Эндрю Ю.; Мэннинг, Кристофер Д. «Анализ естественных сцен и естественного языка с помощью рекурсивных нейронных сетей» (PDF) . 28-я Международная конференция по машинному обучению (ICML 2011) .
- ^ Ли, Цзюнь; Сюй, Кай; Чаудхури, Сиддхартха; Юмер, Эрсин; Чжан, Хао; Гибас, Леонадис (2017). «GRASS: Генеративно-рекурсивные автоэнкодеры для структур формы» (PDF) . Транзакции ACM с графикой . 36 (4): 52. arXiv : 1705.02090 . дои : 10.1145/3072959.3073613 . S2CID 20432407 .
- ^ Бьянуччи, Анна Мария; Микели, Алессио; Спердути, Алессандро; Старита, Антонина (2000). «Применение сетей каскадной корреляции структур в химии». Прикладной интеллект . 12 (1–2): 117–147. дои : 10.1023/А:1008368105614 . ISSN 0924-669X . S2CID 10031212 .
- ^ Микели, А.; Сона, Д.; Спердути, А. (1 ноября 2004 г.). «Контекстная обработка структурированных данных методом рекурсивной каскадной корреляции». Транзакции IEEE в нейронных сетях . 15 (6): 1396–1410. CiteSeerX 10.1.1.135.8772 . дои : 10.1109/ТНН.2004.837783 . ISSN 1045-9227 . ПМИД 15565768 . S2CID 12370239 .
- ^ Хаммер, Барбара; Микели, Алессио; Спердути, Алессандро; Стрикерт, Марк (2004). «Рекурсивные самоорганизующиеся сетевые модели». Нейронные сети . 17 (8–9): 1061–1085. CiteSeerX 10.1.1.129.6155 . дои : 10.1016/j.neunet.2004.06.009 . ПМИД 15555852 .
- ^ Хаммер, Барбара; Микели, Алессио; Спердути, Алессандро; Стрикерт, Марк (01 марта 2004 г.). «Общая основа неконтролируемой обработки структурированных данных». Нейрокомпьютинг . 57 : 3–35. CiteSeerX 10.1.1.3.984 . doi : 10.1016/j.neucom.2004.01.008 .
- ^ Сошер, Ричард; Перелыгин, Алексей; Ю. Ву, Джин; Чуанг, Джейсон; Д. Мэннинг, Кристофер; Ю. Нг, Эндрю; Поттс, Кристофер. «Рекурсивные глубокие модели семантической композиционности в древовидном банке настроений» (PDF) . ЭМНЛП 2013 .
- ^ Хаммер, Барбара (3 октября 2007 г.). Обучение с помощью рекуррентных нейронных сетей . Спрингер. ISBN 9781846285677 .
- ^ Хаммер, Барбара; Микели, Алессио; Спердути, Алессандро (01 мая 2005 г.). «Возможность универсальной аппроксимации каскадной корреляции структур». Нейронные вычисления . 17 (5): 1109–1159. CiteSeerX 10.1.1.138.2224 . дои : 10.1162/0899766053491878 . S2CID 10845957 .
- ^ Галличкио, Клаудио; Микели, Алессио (04 февраля 2013 г.). «Сети состояний древовидного эха». Нейрокомпьютинг . 101 : 319–337. дои : 10.1016/j.neucom.2012.08.017 . hdl : 11568/158480 .
- ^ Скарселли, Ф.; Гори, М.; Цой, А.С.; Хагенбухнер, М.; Монфардини, Дж. (1 января 2009 г.). «Модель графовой нейронной сети» . Транзакции IEEE в нейронных сетях . 20 (1): 61–80. дои : 10.1109/ТНН.2008.2005605 . ISSN 1045-9227 . ПМИД 19068426 . S2CID 206756462 .
- ^ Микели, А. (01 марта 2009 г.). «Нейронная сеть для графов: контекстно-конструктивный подход». Транзакции IEEE в нейронных сетях . 20 (3): 498–511. дои : 10.1109/ТНН.2008.2010350 . ISSN 1045-9227 . ПМИД 19193509 . S2CID 17486263 .
 | Эта искусственному интеллекту статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее . |