Кривая обучения (машинное обучение)

Кривая обучения, показывающая оценку обучения и оценку перекрестной проверки

В машинном обучении кривая обучения (или кривая обучения ) отображает оптимальное значение модели функции потерь для обучающего набора в сравнении с этой функцией потерь, оцененной на наборе проверочных данных с теми же параметрами, что и оптимальная функция. Синонимы включают кривую ошибок , кривую опыта , кривую улучшения и кривую обобщения .

Более абстрактно, кривая обучения — это кривая (усилие обучения) — (прогнозируемая производительность), где обычно усилия по обучению означают количество обучающих выборок, а прогностическая эффективность означает точность тестируемых образцов.

Кривая машинного обучения полезна для многих целей, включая сравнение различных алгоритмов, выбор параметров модели во время проектирования, настройка оптимизации для улучшения сходимости и определение объема данных, используемых для обучения.

Формальное определение

Одна из моделей машинного обучения создает функцию , f(x) которая с учетом некоторой информации x предсказывает некоторую переменную y на основе обучающих данных. $X_{\text{train}}$ и $Y_{\text{train}}$. Она отличается от математической оптимизации, поскольку $f$ должен хорошо прогнозировать $x$ за пределами $X_{\text{train}}$.

Мы часто ограничиваем возможные функции параметризованным семейством функций, $\{f_{\theta }(x):\theta \in \Theta \}$, так что наша функция более обобщаема или чтобы функция имела определенные свойства, например те, которые позволяют найти хорошее $f$ проще, или потому, что у нас есть некая априорная причина думать, что эти свойства верны.

Учитывая, что невозможно создать функцию, которая идеально соответствует нашим данным, необходимо создать функцию потерь. $L(f_{\theta }(X),Y')$ чтобы измерить, насколько хорош наш прогноз. Затем мы определяем процесс оптимизации, который находит $\theta$ что сводит к минимуму $L(f_{\theta }(X_{,}Y))$ упоминается как $\theta ^{*}(X,Y)$ .

Кривая обучения количеству данных

Тогда, если наши данные обучения $\{x_{1},x_{2},\dots ,x_{n}\},\{y_{1},y_{2},\dots y_{n}\}$ и наши данные проверки $\{x_{1}',x_{2}',\dots x_{m}'\},\{y_{1}',y_{2}',\dots y_{m}'\}$ кривая обучения — это график двух кривых

1. $i\mapsto L(f_{\theta ^{*}(X_{i},Y_{i})}(X_{i}),Y_{i})$
2. $i\mapsto L(f_{\theta ^{*}(X_{i},Y_{i})}(X_{i}'),Y_{i}')$

где $X_{i}=\{x_{1},x_{2},\dots x_{i}\}$

Кривая обучения для количества итераций

Многие процессы оптимизации являются итеративными: один и тот же шаг повторяется до тех пор, пока процесс не дойдет до оптимального значения. Градиентный спуск — один из таких алгоритмов. Если вы определите $\theta _{i}^{*}$ как приближение к оптимальному $\theta$ после $i$ шагов, кривая обучения – это график

1. $i\mapsto L(f_{\theta _{i}^{*}(X,Y)}(X),Y)$
2. $i\mapsto L(f_{\theta _{i}^{*}(X,Y)}(X'),Y')$

Выбор размера набора обучающих данных

Это инструмент, позволяющий выяснить, насколько модель машины выигрывает от добавления дополнительных обучающих данных и страдает ли оценщик больше от ошибки дисперсии или ошибки смещения. Если и оценка проверки, и оценка обучения сходятся к слишком низкому значению при увеличении размера обучающего набора, увеличение количества обучающих данных не принесет особой пользы.

В области машинного обучения существуют два значения кривых обучения, различающихся по оси X кривых: опыт модели отображается либо как количество обучающих примеров, использованных для обучения, либо как количество итераций, использованных при обучении модели.

См. также

• Переобучение
• Компромисс смещения и дисперсии
• Выбор модели
• Перекрестная проверка (статистика)
• Срок действия (статистика)
• Верификация и валидация
• Двойной спуск