Инфомакс
Infomax — это принцип оптимизации искусственных нейронных сетей и других систем обработки информации. Он предписывает, что функция, которая отображает набор входных значений I в набор выходных значений O, должна быть выбрана или изучена так, чтобы максимизировать среднюю Шеннона взаимную информацию между I и O с учетом набора заданных ограничений и/или шума. процессы. Алгоритмы Infomax — это алгоритмы обучения , которые выполняют этот процесс оптимизации. Принцип был описан Линскером в 1988 году. [ 1 ]
Infomax в своем пределе нулевого шума связан с принципом уменьшения избыточности, предложенным для биологической сенсорной обработки Горацием Барлоу в 1961 году: [ 2 ] и количественно применен к обработке сетчатки Атиком и Редлихом. [ 3 ]
Одним из применений infomax был анализа независимых компонентов алгоритм , который находит независимые сигналы путем максимизации энтропии . ICA на базе Infomax был описан Беллом и Сейновски , а также Надалем и Паргой в 1995 году. [ 4 ] [ 5 ]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Линскер Р. (1988). «Самоорганизация в перцептивной сети». IEEE-компьютер . 21 (3): 105–17. дои : 10.1109/2.36 . S2CID 1527671 .
- ^ Барлоу, Х. (1961). «Возможные принципы, лежащие в основе трансформации сенсорных сообщений». В Розенблите, В. (ред.). Сенсорное общение . Кембридж, Массачусетс: MIT Press. стр. 217–234.
- ^ Атик Дж. Дж., Редлих А. Н. (1992). «Что сетчатка знает о природных сценах?». Нейронные вычисления . 4 (2): 196–210. дои : 10.1162/neco.1992.4.2.196 . S2CID 17515861 .
- ^ Белл А.Дж., Сейновски Т.Дж. (ноябрь 1995 г.). «Подход к максимизации информации к слепому разделению и слепой деконволюции». Нейронный компьютер . 7 (6): 1129–59. CiteSeerX 10.1.1.36.6605 . дои : 10.1162/neco.1995.7.6.1129 . ПМИД 7584893 . S2CID 1701422 .
- ^ Надаль Дж. П., Парга Н. (1999). «Сенсорное кодирование: максимизация информации и уменьшение избыточности». В Бурде, Г.; Комб, П.; Пароди, О. (ред.). Нейронная обработка информации . Всемирная научная серия по математической биологии и медицине. Том. 7. Сингапур: World Scientific. стр. 164–171.
- Белл А.Дж., Сейновски Т.Дж. (декабрь 1997 г.). «Независимыми компонентами природных сцен являются краевые фильтры» . Видение Рез . 37 (23): 3327–38. дои : 10.1016/S0042-6989(97)00121-1 . ПМЦ 2882863 . ПМИД 9425547 .
- Линскер Р. (1997). «Правило локального обучения, которое позволяет максимизировать информацию для произвольных входных распределений». Нейронные вычисления . 9 (8): 1661–65. дои : 10.1162/neco.1997.9.8.1661 . S2CID 42857188 .
- Стоун, СП (2004). Независимый анализ компонентов: введение в учебное пособие . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-69315-8 .
 | Эта прикладной математике, статья, посвященная незавершена . Вы можете помочь Википедии, расширив ее . |