Детерминированный шум

В (контролируемом) машинном обучении , особенно при обучении на основе данных, возникают ситуации, когда значения данных невозможно смоделировать. Это может возникнуть, если в данных присутствуют случайные флуктуации или ошибки измерений, которые не моделируются, и их можно правильно назвать стохастическим шумом ; или когда моделируемое (или изучаемое) явление слишком сложное, и поэтому данные содержат дополнительную сложность, которая не моделируется. Эта дополнительная сложность данных была названа детерминированным шумом . Хотя эти два типа шума возникают по разным причинам, их негативное влияние на обучение одинаково. Переобучение происходит потому, что модель пытается подогнать (стохастический или детерминированный) шум (ту часть данных, которую она не может моделировать) за счет подгонки той части данных, которую она может моделировать. При наличии любого типа шума обычно рекомендуется регуляризировать алгоритм обучения, чтобы предотвратить переподгонку модели к данным и снижение производительности. Регуляризация обычно приводит к модели с меньшей дисперсией за счет систематической ошибки .

Можно также попытаться смягчить воздействие шума, обнаруживая и удаляя зашумленные обучающие примеры перед обучением алгоритма обучения с учителем. Существует несколько алгоритмов, которые идентифицируют зашумленные примеры обучения, и удаление подозрительных зашумленных примеров обучения перед обучением обычно улучшает производительность.