Утечка (машинное обучение)

«Утечка данных» перенаправляется сюда. Информацию о несанкционированном раскрытии, раскрытии или потере личной информации см. в разделе « Нарушение данных» .

В статистике и машинном обучении утечка ( также известная как утечка данных или целевая утечка ) — это использование в процессе обучения модели информации , которая, как ожидается, не будет доступна во время прогнозирования прогнозных оценок (метрик) , что приводит к переоценке модели. утилита при запуске в производственной среде.

Утечка часто бывает незаметной и косвенной, что затрудняет ее обнаружение и устранение. Утечка может привести к тому, что статистик или разработчик моделей выберет неоптимальную модель, которую может превзойти модель без утечек.

Режимы утечки

Утечка может происходить на многих этапах процесса машинного обучения. Причины утечек можно разделить на два возможных источника утечек для модели: функции и обучающие примеры.

Утечка функций

Утечка по функциям или столбцам вызвана включением столбцов, которые являются одним из следующих: повторяющаяся метка, прокси для метки или сама метка. Эти функции, известные как анахронизмы , будут недоступны, когда модель используется для прогнозов, и приводят к утечке данных, если они включены при обучении модели.

Например, включение столбца «MonthlySalary» при прогнозировании «YearlySalary»; или «MinutesLate» при прогнозировании «IsLate».

Утечка обучающего примера

Утечка по строкам вызвана неправильным разделением информации между строками данных. Типы построчной утечки включают в себя:

• Преждевременная фичеризация ; утечка из-за преждевременной характеристики перед разделением перекрестной проверки /поезда/теста (должен соответствовать MinMax/ngrams/etc только для разделения поезда, а затем преобразовать набор тестов)
• Дублирование строк между обучением/проверкой/тестом (например, передискретизация набора данных для увеличения его размера перед разделением; например, различные вращения/увеличения одного изображения; начальная выборка перед разделением; или дублирование строк для увеличения выборки класса меньшинства)
• Не-iid данные
  • Утечка времени (например, случайное разделение набора данных временных рядов вместо новых данных в тестовом наборе с использованием разделения TrainTest или перекрестной проверки скользящего происхождения)
  • Утечка группы — не включая столбец разделения группировки (например, группа Эндрю Нга имела 100 тысяч рентгеновских снимков 30 тысяч пациентов, что означает ~3 изображения на пациента. В статье использовалось случайное разделение вместо того, чтобы гарантировать, что все изображения пациента находились в одном и том же месте). Следовательно, модель частично запоминала пациентов вместо того, чтобы учиться распознавать пневмонию на рентгенограммах грудной клетки. )

Обзор 2023 года показал, что утечка данных является «распространенным видом сбоя в науке, основанной на машинном обучении (МО), затронув как минимум 294 академических публикации по 17 дисциплинам и вызвав потенциальный кризис воспроизводимости .

См. также

• АвтоМЛ
• Дрейф концепции (когда структура изучаемой системы меняется со временем, что делает модель недействительной)
• Переобучение
• Повторная выборка (статистика)
• Обучение под присмотром
• Наборы для обучения, проверки и тестирования

Как бороться с утечкой

Решение проблемы утечки, непреднамеренного перемещения выбросов в результате мероприятий по смягчению последствий, имеет решающее значение для эффективности инициатив REDD (сокращение выбросов в результате обезлесения и деградации лесов). Утечка может подорвать усилия по сокращению выбросов углерода, перемещая выбросы из охраняемых территорий в незащищенные. Для эффективного управления утечками можно использовать несколько стратегий:

1. Мониторинг : необходимы комплексные системы мониторинга. Это включает в себя отслеживание исторических данных о вырубке лесов, использование контрольных зон и проведение социально-экономических исследований для измерения воздействия за пределами границ проекта. Такие инструменты, как Добровольный углеродный стандарт, рекомендуют обширные зоны мониторинга для точного выявления утечек.
2. Увеличение масштаба : Расширение масштаба проектов REDD с субнационального на национальный уровень может помочь смягчить утечку. Более масштабные инициативы снижают риск перемещения внутри страны, а более широкое международное участие может ограничить трансграничную утечку за счет снижения глобального давления на предложение сырьевых товаров.
3. Дисконтирование : Чтобы учесть потенциальную утечку, льготы REDD должны быть дисконтированы. Это предполагает корректировку кредитного учета для отражения предполагаемого масштаба утечки, гарантируя, что вознаграждается только чистое сокращение выбросов. Дисконтирование может дополняться такими механизмами, как банковские резервные кредиты и страхование.
4. Перепроектирование проектов : При разработке проекта следует учитывать риски утечек путем балансирования различных мероприятий по смягчению последствий. Например, сочетание сохранения REDD с проектами устойчивого лесопользования (УУЛ) и облесения/лесовосстановления (A/R) может поглотить вытесненную рабочую силу и капитал, тем самым уменьшая утечку.
5. Нейтрализация утечки : Внедрение альтернативных компонентов средств к существованию может решить проблему первичной утечки. Несмотря на то, что сложные пакеты целевого обучения и стимулирования могут привести к переходу к более устойчивым практикам, необходимо проявлять осторожность, чтобы избежать создания дополнительного давления из-за слишком успешных мер.