Структурная минимизация рисков

Структурная минимизация риска (SRM) — индуктивный принцип использования в машинном обучении . Обычно в машинном обучении обобщенную модель необходимо выбирать из конечного набора данных, что приводит к проблеме переоснащения — модель становится слишком сильно адаптированной к особенностям обучающего набора и плохо обобщается на новые данные. Принцип SRM решает эту проблему, балансируя между сложностью модели и ее успешностью при подборе обучающих данных. Этот принцип был впервые изложен в книге 1974 года. ^[1] Владимиром Вапником и Алексеем Червоненкисом и использует измерение венчурного капитала .

На практике минимизация структурного риска реализуется путем минимизации $E_{train}+\beta H(W)$ , где $E_{train}$ – ошибка поезда, функция $H(W)$ называется функцией регуляризации, а $\beta$ является константой. $H(W)$ выбирается так, что принимает большие значения параметров $W$ которые принадлежат подмножествам пространства параметров высокой емкости. Минимизация $H(W)$ по сути, ограничивает емкость доступных подмножеств пространства параметров, тем самым контролируя компромисс между минимизацией ошибки обучения и минимизацией ожидаемого разрыва между ошибкой обучения и ошибкой теста. ^[2]

Проблему SRM можно сформулировать в терминах данных. Учитывая n точек данных, состоящих из данных x и меток y, цель $J(\theta )$ часто выражается следующим образом:

$J(\theta )={\frac {1}{2n}}\sum _{i=1}^{n}(h_{\theta }(x^{i})-y^{i})^{2}+{\frac {\lambda }{2}}\sum _{j=1}^{d}\theta _{j}^{2}$

Первый член представляет собой среднеквадратичную ошибку (MSE) между значением изученной модели, $h_{\theta }$ , и данные метки $y$ . Этот член является ошибкой обучения, $E_{train}$ , об этом говорилось ранее. Второй член ставит априор над весами, чтобы способствовать разреженности и наказывать большие веса. Коэффициент компромисса, $\lambda$ , — это гиперпараметр, который придает большее или меньшее значение термину регуляризации. Больше $\lambda$ поощряет более редкие веса за счет более оптимального MSE и меньшего $\lambda$ ослабляет регуляризацию, позволяя модели соответствовать данным. Обратите внимание, что как $\lambda \to \infty$ веса становятся равными нулю, и так как $\lambda \to 0$ , модель обычно страдает от переобучения.

См. также [ править ]

Ссылки [ править ]

^ Vapnik, V. N.; Chervonenkis, A. Ya. (1974). Teoriya raspoznavaniya obrazov [ Theory of Pattern Recognition ] (in Russian). Nauka, Moscow.
^ ЛеКун, Янн. «Градиентное обучение, применяемое для распознавания документов» (PDF) .

Внешние ссылки [ править ]

Минимизация структурных рисков на сайте машин опорных векторов.

Эта по информатике статья незавершена . Вы можете помочь Википедии, расширив ее .

[1] Vapnik, V. N.; Chervonenkis, A. Ya. (1974). Teoriya raspoznavaniya obrazov [ Theory of Pattern Recognition ] (in Russian). Nauka, Moscow.

[2] ЛеКун, Янн. «Градиентное обучение, применяемое для распознавания документов» (PDF) .

[1]

[2]