Разбавление (нейронные сети)

Слева — полносвязная нейронная сеть с двумя скрытыми слоями. Справа — та же сеть после применения дропаута.

Разбавление и отключение (также называемое DropConnect ) — это методы регуляризации , позволяющие уменьшить переобучение в искусственных нейронных сетях за счет предотвращения сложной совместной адаптации обучающих данных . Они представляют собой эффективный способ усреднения модели с помощью нейронных сетей. Разбавление относится к уменьшению веса, в то время как выпадение относится к случайному «выпадению» или пропуску единиц (как скрытых, так и видимых) во время процесса обучения нейронной сети. Оба запускают один и тот же тип регуляризации.

Виды и использование

Разбавление обычно делится на слабое разбавление и сильное разбавление . Слабое разбавление описывает процесс, в котором конечная доля удаленных соединений мала, а сильное разбавление относится к случаям, когда эта доля велика. Не существует четкого различия в том, где находится предел между сильным и слабым разбавлением, и часто это различие зависит от прецедента конкретного варианта использования и влияет на то, как найти точные решения.

Иногда разбавление используется для добавления затухающих шумов на входы. В этом случае слабое разбавление означает добавление небольшого количества затухания шума, тогда как сильное разбавление означает добавление большего количества затухания шума. И то, и другое можно переписать как варианты разбавления веса.

Эти методы также иногда называют случайным сокращением весов, но обычно это неповторяющаяся односторонняя операция. Сеть обрезается, а затем сохраняется, если она является улучшением по сравнению с предыдущей моделью. Разбавление и исключение относятся к итеративному процессу. Сокращение весов обычно не означает, что сеть продолжает обучение, тогда как при разбавлении/отсеве сеть продолжает обучение после применения метода.

Обобщенная линейная сеть

Выходные данные слоя линейных узлов в искусственной нейронной сети можно описать как

$y_{i}=\sum _{j}w_{ij}x_{j}$ ( 1 )

• $y_{i}$ – выход из узла $i$
• $w_{ij}$ – реальный вес до разбавления, также называемый силой соединения Хебба
• $x_{j}$ – вход от узла $j$

Это можно записать в векторной записи как

$\mathbf {y} =\mathbf {W} \mathbf {x}$ ( 2 )

• $\mathbf {y}$ – выходной вектор
• $\mathbf {W}$ – весовая матрица
• $\mathbf {x}$ – входной вектор

Уравнения (1) и (2) используются в последующих разделах.

Слабое разведение

При слабом разбавлении конечная доля удаленных связей (веса) мала, что приводит к незначительной неопределенности. Этот крайний случай можно точно решить с помощью теории среднего поля . При слабом разбавлении влияние на вес можно описать как

${\hat {w_{ij}}}={\begin{cases}w_{ij},&{\mbox{with }}P(c)\\0,&{\mbox{otherwise}}\end{cases}}$ ( 3 )

• ${\hat {w_{ij}}}$ - разбавленный вес
• $w_{ij}$ – реальный вес до разбавления
• $P(c)$ – вероятность $c$, вероятность удержать вес

Интерпретация вероятности $P(c)$ Также можно перейти от поддержания веса к его сокращению.

В векторной записи это можно записать как

${\hat {\mathbf {W} }}=\operatorname {g} \left(\mathbf {W} ,c\right)$ ( 4 )

где функция $\operatorname {g} (\cdot )$ накладывает предыдущее разбавление.

При слабом разбавлении разбавляется только небольшая и фиксированная часть массы. Когда количество членов в сумме достигает бесконечности (веса для каждого узла), оно по-прежнему бесконечно (доля фиксирована), поэтому среднюю теорию поля можно применять . В обозначениях Hertz et al. это будет написано как

$\left\langle h_{i}\right\rangle =c\sum _{j}w_{ij}\left\langle S_{j}\right\rangle$ ( 5 )

• $\left\langle h_{i}\right\rangle$ средняя полевая температура
• $c$ – коэффициент масштабирования температуры от вероятности сохранения веса
• $w_{ij}$ – реальный вес до разбавления, также называемый силой соединения Хебба
• $\left\langle S_{j}\right\rangle$ – средние устойчивые состояния равновесия

Для этого существуют некоторые предположения, которые здесь не перечислены.

Сильное разбавление

Когда разбавление сильное, конечная доля удаленных связей (веса) велика, что приводит к огромной неопределенности.

Выбывать

Выпадение — это частный случай предыдущего уравнения веса ( 3 ), где вышеупомянутое уравнение корректируется для удаления целой строки в векторной матрице, а не только случайных весов.

${\hat {\mathbf {w} _{j}}}={\begin{cases}\mathbf {w} _{j},&{\mbox{with }}P(c)\\\mathbf {0} ,&{\mbox{otherwise}}\end{cases}}$ ( 6 )

• $P(c)$ – вероятность $c$ сохранить строку в весовой матрице
• $\mathbf {w} _{j}$ – реальная строка в весовой матрице перед выпадением
• ${\hat {\mathbf {w} _{j}}}$ – разбавленная строка в весовой матрице

Поскольку исключение удаляет целую строку из векторной матрицы, предыдущие (не указанные в списке) предположения о слабом разбавлении и использовании теории среднего поля неприменимы.

Процесс, посредством которого узел обнуляется, будь то установка весов в ноль, «удаление узла» или каким-либо другим способом, не влияет на конечный результат и не создает нового и уникального случая. Если нейронная сеть обрабатывается высокопроизводительным цифровым умножителем массивов, то, вероятно, более эффективно довести значение до нуля на поздней стадии графа процесса. Если сеть обрабатывается процессором с ограничениями, возможно, даже аналоговым процессором нейроморфа, то, вероятно, более энергоэффективным решением будет обнуление значения на ранней стадии графа процесса.

патент Google

Хотя были примеры случайного удаления связей между нейронами в нейронной сети для улучшения моделей, имени с исключением вместе этот метод был впервые представлен Джеффри Хинтоном и др. . в 2012 году. В настоящее время Google владеет патентом на метод исключения.

См. также

• АлексНет
• Сверточная нейронная сеть § Dropout