Обрезка (искусственная нейронная сеть)
В контексте искусственных нейронных сетей обрезка — это практика удаления параметров (что может повлечь за собой удаление отдельных параметров или параметров в группах, например, по нейронам ) из существующей сети. [1] Целью этого процесса является поддержание точности сети при одновременном повышении ее эффективности . Это можно сделать, чтобы уменьшить вычислительные ресурсы , необходимые для работы нейронной сети. биологический процесс обрезки синапсов. В мозгу млекопитающих во время развития происходит [2] (см. также Нейронный дарвинизм ).
Обрезка узлов (нейронов) [ править ]
Основной алгоритм обрезки следующий: [3] [4]
- Оцените важность каждого нейрона.
- Ранжируйте нейроны в соответствии с их важностью (при условии, что существует четко определенная мера «важности»).
- Удалите наименее важный нейрон.
- Проверьте условие завершения (определяемое пользователем), чтобы узнать, следует ли продолжать обрезку.
Обрезка кромок (веса) [ править ]
Большая часть работ по сокращению нейронных сетей сосредоточена на удалении весов, а именно на установке их значений на ноль. В ранних работах предлагалось также изменить значения необрезанных весов. [5]
Ссылки [ править ]
- ^ Блэлок, Дэвис; Ортис, Хосе Хавьер Гонсалес; Франкл, Джонатан; Гуттаг, Джон (06 марта 2020 г.). «Каково состояние обрезки нейронных сетей?». arXiv : 2003.03033 [ cs.LG ].
- ^ Чечик, Гал; Мейлиджсон, Исаак; Руппин, Эйтан (октябрь 1998 г.). «Синаптическая обрезка в развитии: расчет вычислений» . Нейронные вычисления . 10 (7): 1759–1777. дои : 10.1162/089976698300017124 . ISSN 0899-7667 . ПМИД 9744896 . S2CID 14629275 .
- ^ Молчанов П., Тайри С., Каррас Т., Айла Т. и Каутц Дж. (2016). Обрезка сверточных нейронных сетей для эффективного вывода ресурсов . Препринт arXiv arXiv:1611.06440.
- ^ Гильденблат, Якоб (23 июня 2017 г.). «Обрезка глубоких нейронных сетей, чтобы сделать их быстрыми и маленькими» . Гитхаб . Проверено 4 февраля 2024 г.
- ^ Чечик, Гал; Мейлиджсон, Исаак; Руппин, Эйтан (апрель 2001 г.). «Эффективное обучение нейронов с неэффективными правилами обучения Хебба» . Нейронные вычисления . 13 (4): 817–840. дои : 10.1162/089976601300014367 . ISSN 0899-7667 . ПМИД 11255571 . S2CID 133186 .
 | Эта искусственному интеллекту статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее . |