Ошибка обобщения

Для обучения с учителем приложений в машинном обучении и теории статистического обучения ошибка обобщения (также известная как ошибка вне выборки или риск ) — это мера того, насколько точно алгоритм способен предсказать значения результата для ранее невидимых данных. Поскольку алгоритмы обучения оцениваются на конечных выборках, оценка алгоритма обучения может быть чувствительной к ошибке выборки . В результате измерения ошибки прогнозирования текущих данных могут не дать много информации о возможности прогнозирования новых данных. Ошибку обобщения можно свести к минимуму, избегая переобучения алгоритма обучения. Производительность машинного обучения алгоритма визуализируется с помощью графиков, на которых показаны значения оценок ошибки обобщения в процессе обучения, которые называются кривыми обучения .

Определение

См. Также: Статистическая теория обучения.

Целью задачи обучения является разработка функции $f_{n}({\vec {x}})$ который предсказывает выходные значения $y$ для каждой входной базы данных ${\vec {x}}$. Нижний индекс $n$ указывает на то, что функция $f_{n}$ разрабатывается на основе набора данных $n$ точки данных. Ошибка обобщения или ожидаемая потеря или риск $I[f]$ определенной функции $f$ по всем возможным значениям ${\vec {x}}$ и $y$ - ожидаемое значение функции потерь $V(f)$:

$I[f]=\int _{X\times Y}V(f({\vec {x}}),y)\rho ({\vec {x}},y)d{\vec {x}}dy,$

где $\rho ({\vec {x}},y)$ неизвестное совместное распределение вероятностей для ${\vec {x}}$ и $y$.

Не зная совместного распределения вероятностей $\rho$, невозможно вычислить $I[f]$. Вместо этого мы можем вычислить ошибку на выборочных данных, которая называется эмпирической ошибкой (или эмпирическим риском ). Данный $n$ точки данных, эмпирическая ошибка функции-кандидата $f$ является:

$I_{n}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})$

Говорят, что алгоритм обобщает, если:

$\lim _{n\rightarrow \infty }I[f]-I_{n}[f]=0$

Особое значение имеет ошибка обобщения $I[f_{n}]$ функции, зависящей от данных $f_{n}$ который находится с помощью алгоритма обучения на основе выборки. Опять же, для неизвестного распределения вероятностей $I[f_{n}]$ не может быть вычислено. Вместо этого цель многих задач статистической теории обучения состоит в том, чтобы ограничить или охарактеризовать разницу ошибки обобщения и эмпирической ошибки вероятности:

$P_{G}=P(I[f_{n}]-I_{n}[f_{n}]\leq \epsilon )\geq 1-\delta _{n}$

То есть цель состоит в том, чтобы охарактеризовать вероятность $1-\delta _{n}$ что ошибка обобщения меньше эмпирической ошибки плюс некоторая связанная ошибка $\epsilon$ (обычно зависит от $\delta$ и $n$).Для многих типов алгоритмов было показано, что алгоритм имеет границы обобщения, если он соответствует определенным устойчивости критериям . В частности, если алгоритм симметричен (порядок входных данных не влияет на результат), имеет ограниченные потери и удовлетворяет двум условиям устойчивости, он будет обобщать. Первое условие стабильности, стабильность перекрестной проверки с исключением одного , говорит, что для того, чтобы быть стабильным, ошибка прогнозирования для каждой точки данных при использовании перекрестной проверки с исключением одного должна сходиться к нулю как $n\rightarrow \infty$. Второе условие — устойчивость к ожидаемой ошибке (также известная как устойчивость гипотезы, если она работает в $L_{1}$ норма ) выполняется, если прогноз по пропущенной точке данных не меняется, когда одна точка данных удаляется из набора обучающих данных.

Эти условия можно формализовать как:

Перекрестная проверка с исключением одного

Алгоритм $L$ имеет $CVloo$ стабильность, если для каждого $n$, существует $\beta _{CV}^{(n)}$ и $\delta _{CV}^{(n)}$ такой, что:

$\forall i\in \{1,...,n\},\mathbb {P} _{S}\{|V(f_{S^{i}},z_{i})-V(f_{S},z_{i})|\leq \beta _{CV}^{(n)}\}\geq 1-\delta _{CV}^{(n)}$

и $\beta _{CV}^{(n)}$ и $\delta _{CV}^{(n)}$ перейти к нулю, как $n$ уходит в бесконечность.

«ожидаемый пропуск одного

Алгоритм $L$ имеет $Eloo_{err}$ стабильность, если для каждого $n$ существует $\beta _{EL}^{m}$ и $\delta _{EL}^{m}$ такой, что:

$\forall i\in \{1,...,n\},\mathbb {P} _{S}\left\{\left|I[f_{S}]-{\frac {1}{n}}\sum _{i=1}^{N}V\left(f_{S^{i}},z_{i}\right)\right|\leq \beta _{EL}^{(n)}\right\}\geq 1-\delta _{EL}^{(n)}$

с $\beta _{EL}^{(n)}$ и $\delta _{EL}^{(n)}$ стремится к нулю для $n\rightarrow \infty$.

Для абсолютной стабильности в $L_{1}$ норма, это то же самое, что устойчивость гипотезы:

$\mathbb {E} _{S,z}[|V(f_{S},z)-V(f_{S^{i}},z)|]\leq \beta _{H}^{(n)}$

с $\beta _{H}^{(n)}$ стремится к нулю, как $n$ уходит в бесконечность.

с

Доказано, что ряд алгоритмов стабильны и, как следствие, имеют границы ошибки обобщения. Список этих алгоритмов и статей, доказавших устойчивость, доступен здесь .

Отношение к переоснащению

См. также: Переобучение

Этот рисунок иллюстрирует связь между переоснащением и ошибкой обобщения I [ f _n ] - I _S [ f _n ]. Точки данных были получены на основе соотношения y = x с добавлением белого шума к значениям y . В левом столбце набор тренировочных очков показан синим цветом. Полиномиальная функция седьмого порядка была адаптирована к обучающим данным. В правом столбце функция тестируется на данных, выбранных из основного совместного распределения вероятностей x и y . В верхнем ряду функция соответствует выборке данных из 10 точек данных. В нижнем ряду функция соответствует образцу набора данных из 100 точек данных. Как мы видим, для небольших размеров выборки и сложных функций ошибка в обучающем наборе невелика, но ошибка в базовом распределении данных велика, и мы переопределили данные. В результате ошибка обобщения велика. По мере увеличения количества точек выборки ошибка прогнозирования обучающих и тестовых данных сходится, а ошибка обобщения стремится к 0.

Понятия ошибки обобщения и переобучения тесно связаны. Переобучение происходит, когда изученная функция $f_{S}$ становится чувствительным к шуму в образце. В результате функция будет хорошо работать на обучающем наборе, но не будет хорошо работать на других данных из совместного распределения вероятностей $x$ и $y$. Таким образом, чем больше происходит переоснащение, тем больше ошибка обобщения.

Степень переобучения можно проверить с помощью методов перекрестной проверки , которые разбивают выборку на смоделированные обучающие выборки и тестовые выборки. Затем модель обучается на обучающей выборке и оценивается на тестовой выборке. Тестовая выборка ранее невидима для алгоритма и поэтому представляет собой случайную выборку из совместного распределения вероятностей $x$ и $y$. Эта тестовая выборка позволяет нам аппроксимировать ожидаемую ошибку и, как следствие, аппроксимировать конкретную форму ошибки обобщения.

Существует множество алгоритмов для предотвращения переобучения. Алгоритм минимизации может наказывать более сложные функции (известные как регуляризация Тихонова ), или пространство гипотез может быть ограничено либо явно в форме функций, либо путем добавления ограничений к функции минимизации (регуляризация Иванова).

Подход к поиску функции, которая не переоснащается, противоречит цели найти функцию, которая является достаточно сложной, чтобы уловить конкретные характеристики данных. Это известно как компромисс между смещением и дисперсией . Сохранение простоты функции во избежание переобучения может привести к смещению получаемых прогнозов, в то время как разрешение сделать ее более сложной приводит к переобучению и более высокой дисперсии прогнозов. Невозможно минимизировать и то, и другое одновременно.

Дальнейшее чтение

• Оливье, Буске; Люксбург, Ульрике; Ретч, Гуннар, ред. (2004). Продвинутые лекции по машинному обучению . Конспекты лекций по информатике. Том. 3176. стр. 169–207. дои : 10.1007/b100712 . ISBN  978-3-540-23122-6 . S2CID   431437 . Проверено 10 декабря 2022 г.
• Буске, Оливье; Елисеев, Андре (1 марта 2002 г.). «Стабильность и обобщение» . Журнал исследований машинного обучения . 2 : 499–526. дои : 10.1162/153244302760200704 . S2CID   1157797 . Проверено 10 декабря 2022 г.
• Мори М., Ростамизаде А., Талвакар А. (2018) Основы машинного обучения , 2-е изд., Бостон: MIT Press.
• Муди, Дж. Э. (1992), « Эффективное количество параметров: анализ обобщения и регуляризации в нелинейных системах обучения. Архивировано 10 сентября 2016 г. в Wayback Machine », в книге Муди, Дж. Э., Хэнсон, С. Дж. и Липпманн, Р. П., Достижения в области нейронных систем обработки информации 4, 847–854.
• Уайт, Х. (1992b), Искусственные нейронные сети: теория приближения и обучения , Блэквелл.