Передискретизация и недостаточная выборка при анализе данных

В статистике при анализе данных избыточная и недостаточная выборка — это методы, используемые для корректировки распределения классов в наборе данных (т. е. соотношения между различными представленными классами/категориями). Эти термины используются как в статистической выборке, методологии разработки опросов, так и в машинном обучении .

Передискретизация и недостаточная выборка являются противоположными и примерно эквивалентными методами. Существуют также более сложные методы передискретизации, включая создание искусственных точек данных с помощью таких алгоритмов, как метод передискретизации синтетического меньшинства .

Мотивация для передискретизации и недостаточной выборки

Как избыточная, так и недостаточная выборка предполагает внесение систематической ошибки в выборку большего количества выборок из одного класса, чем из другого, чтобы компенсировать дисбаланс, который либо уже присутствует в данных, либо может возникнуть, если была взята чисто случайная выборка. Дисбаланс данных может быть следующих типов:

1. Недостаточное представление класса в одной или нескольких важных переменных-предикторах. Предположим, что для решения вопроса о гендерной дискриминации у нас есть данные опроса о заработной плате в определенной области, например, в сфере компьютерного программного обеспечения. Известно, что женщины значительно недопредставлены в случайной выборке инженеров-программистов, что было бы важно при поправке на другие переменные, такие как годы работы и текущий уровень стажа. Предположим, что только 20% инженеров-программистов — женщины, т. е. мужчин в 4 раза больше, чем женщин. Если бы мы разрабатывали опрос для сбора данных, мы бы опросили в 4 раза больше женщин, чем мужчин, чтобы в окончательной выборке оба пола были представлены одинаково. (См. также «Стратифицированная выборка ».)
2. Недостаточное представление одного класса в выходной (зависимой) переменной. Предположим, мы хотим на основе большого набора клинических данных спрогнозировать, у каких пациентов может развиться определенное заболевание (например, диабет). Однако предположим, что заболевание развивается только у 10% пациентов. Предположим, у нас есть большой существующий набор данных. Затем мы можем выбрать в 9 раз больше пациентов, у которых болезнь не развилась, на каждого пациента, у которого она развилась.

Передискретизация обычно используется чаще, чем недостаточная выборка, особенно когда подробные данные еще не собраны с помощью опроса, интервью или иным образом. Недостаточная выборка применяется гораздо реже. Переизбыток уже собранных данных стал проблемой только в эпоху «больших данных», а причины использования недостаточной выборки в основном практические и связаны с затратами ресурсов. данные необходимо очистить В частности, хотя для получения достоверных статистических выводов необходим достаточно большой размер выборки, перед использованием . Очистка обычно включает в себя значительный человеческий компонент и обычно зависит от набора данных и аналитической проблемы и, следовательно, требует времени и денег. Например:

• Эксперты в предметной области предложат средства проверки конкретных наборов данных, включающие не только проверки внутри переменных (допустимые значения, максимально и минимально возможные допустимые значения и т. д.), но и проверки между переменными. Например, сумма отдельных компонентов дифференциального количества лейкоцитов должна составлять 100, поскольку каждый из них представляет собой процент от общего числа.
• Данные, встроенные в описательный текст (например, стенограммы интервью), должны быть вручную закодированы в дискретные переменные, с которыми может справиться статистический пакет или пакет машинного обучения. Чем больше данных, тем больше усилий по кодированию. (Иногда кодирование может быть выполнено с помощью программного обеспечения, но часто для этого кто-то должен написать специальную одноразовую программу, а выходные данные программы должны быть проверены на точность с точки зрения ложноположительных и ложноотрицательных результатов.)

По этим причинам обычно очищают только столько данных, сколько необходимо для ответа на вопрос с разумной статистической достоверностью (см. Размер выборки), но не более того.

Методы передискретизации для задач классификации

Случайная передискретизация

Случайная передискретизация предполагает дополнение обучающих данных несколькими копиями некоторых классов меньшинства. Передискретизацию можно выполнять более одного раза (2x, 3x, 5x, 10x и т. д.). Это один из самых ранних предложенных методов, эффективность которого также доказала свою эффективность. Вместо дублирования каждого образца в классе меньшинства некоторые из них могут быть выбраны случайным образом с заменой.

СМОТЕ

Существует ряд методов избыточной выборки набора данных, используемых в типичной задаче классификации (использование алгоритма классификации для классификации набора изображений с учетом помеченного обучающего набора изображений). Самый распространенный метод известен как SMOTE: метод чрезмерной выборки синтетического меньшинства. Однако было показано, что этот метод дает плохо откалиброванные модели с завышенной вероятностью принадлежности к классу меньшинства.

Чтобы проиллюстрировать, как работает этот метод, рассмотрим некоторые обучающие данные, которые имеют s выборок и f признаков в пространстве признаков данных. Обратите внимание, что эти функции для простоты являются непрерывными. В качестве примера рассмотрим набор данных о птицах для классификации. Пространством признаков для класса меньшинства, для которого мы хотим выполнить передискретизацию, может быть длина клюва, размах крыльев и вес (все непрерывно). Чтобы затем выполнить передискретизацию, возьмите выборку из набора данных и рассмотрите ее k ближайших соседей (в пространстве признаков). Чтобы создать синтетическую точку данных, возьмите вектор между одним из этих k соседей и текущей точкой данных. Умножьте этот вектор на случайное число x, которое находится между 0 и 1. Добавьте его к текущей точке данных, чтобы создать новую синтетическую точку данных.

С момента его появления в метод SMOTE было внесено множество модификаций и расширений.

ЭТО ПРОСТО

Подход адаптивной синтетической выборки или алгоритм ADASYN. основывается на методологии SMOTE, перенося важность классификационных границ на те классы меньшинств, которые являются трудными. ADASYN использует взвешенное распределение для различных примеров классов меньшинств в зависимости от их уровня сложности в обучении, при этом больше синтетических данных генерируется для примеров классов меньшинств, которые труднее выучить.

Увеличение

Увеличение данных при анализе данных — это методы, используемые для увеличения объема данных путем добавления слегка измененных копий уже существующих данных или вновь созданных синтетических данных из существующих данных. Он действует как регуляризатор и помогает уменьшить переобучение при обучении модели машинного обучения. (См.: Увеличение данных )

Методы недостаточной выборки для задач классификации

Случайная недостаточная выборка

Случайным образом удалите образцы из класса большинства, с заменой или без нее. Это один из самых ранних методов, используемых для устранения дисбаланса в наборе данных, однако он может увеличить дисперсию классификатора и с большой вероятностью приведет к отбрасыванию полезных или важных выборок.

Кластер

Центроиды кластера — это метод, который заменяет кластер выборок центроидом кластера алгоритма K-средних, где количество кластеров задается уровнем недостаточной выборки.

Tomek links

Ссылки Tomek устраняют нежелательное перекрытие между классами, при этом ссылки большинства классов удаляются до тех пор, пока все пары ближайших соседей с минимальным расстоянием не будут принадлежать к одному и тому же классу. Ссылка Tomek определяется следующим образом: задана пара экземпляров $(x_{i},x_{j})$, где $x_{i}\in S_{\min },x_{j}\in S_{\operatorname {max} }$ и $d(x_{i},x_{j})$ это расстояние между $x_{i}$ и $x_{j}$, то пара $(x_{i},x_{j})$ называется ссылкой Tomek, если нет экземпляра $x_{k}$ такой, что $d(x_{i},x_{k})<d(x_{i},x_{j})$ или $d(x_{j},x_{k})<d(x_{i},x_{j})$. Таким образом, если два экземпляра образуют ссылку Tomek, то либо один из этих экземпляров является шумом, либо оба находятся рядом с границей. Таким образом, можно использовать ссылки Tomek для устранения дублирования между классами. Удалив перекрывающиеся примеры, можно создать четко определенные кластеры в обучающем наборе и привести к повышению эффективности классификации.

Недостаточная выборка с ансамблевым обучением

Недавнее исследование показывает, что сочетание недостаточной выборки с ансамблевым обучением может достичь лучших результатов, см. IFME: фильтрация информации по множеству примеров с недостаточной выборкой в ​​среде цифровой библиотеки.

Методы решения проблем регрессии

Хотя методы выборки были разработаны в основном для задач классификации, все большее внимание уделяется проблеме несбалансированной регрессии. Доступны адаптации популярных стратегий, включая недостаточную выборку, передискретизацию и SMOTE. Методы выборки также изучались в контексте численного прогнозирования данных, ориентированных на зависимости, таких как прогнозирование временных рядов. и пространственно-временное прогнозирование.

Дополнительные техники

Можно объединить методы передискретизации и недостаточной выборки в гибридную стратегию. Типичные примеры включают ссылки SMOTE и Tomek или SMOTE и Edited Nearest Neighbours (ENN). Дополнительные способы обучения на несбалансированных наборах данных включают взвешивание обучающих экземпляров, введение различных затрат на неправильную классификацию для положительных и отрицательных примеров и начальную загрузку.

Реализации

• В пакете несбалансированного обучения реализованы различные методы повторной выборки данных. совместим с scikit-learn библиотекой Python . Методы повторной выборки реализованы в четырех различных категориях: недостаточная выборка класса большинства, передискретизация класса меньшинства, объединение избыточной и недостаточной выборки и ансамблевая выборка.
• Реализация на Python 85 методов миноритарной передискретизации с функциями выбора модели доступна в вариантах smote. упаковка.

Критика

Плохие модели в настройке [двоичной классификации] часто являются результатом — любой комбинации — подгонки детерминированных классификаторов, использования методов повторной выборки или повторного взвешивания для балансировки частот классов в обучающих данных и оценки модели с помощью такой оценки, как точность. . ... Никакая техника повторной выборки не сможет волшебным образом получить больше информации из немногих случаев с редким классом.

- Руководство пользователя по сравнению моделей и оценке калибровки для согласованных функций оценки в машинном обучении и актуарной практике, Тобиас Фисслер, arXiv:2202.12780v3, Кристиан Лоренцен, Майкл Майер, 2023 г.

Вероятностные модели машинного обучения, пытающиеся смоделировать условное распределение $P(Y|X)={\frac {P(X|Y)P(Y)}{P(X)}}$ (по правилу Байеса ) будет неправильно откалиброван при изменении естественного распределения $P(Y)$ во время обучения путем применения пониженной или понижающей дискретизации.

Этот момент можно проиллюстрировать простым примером: предположим, что прогнозируемые переменные отсутствуют. $X$ и где доля $Y=1$ составляет 0,01, а доля $Y=0$ составляет 0,99. Это модель, которая учится ${\hat {P}}(Y=1)=0.01$ бесполезно и его следует изменить с помощью недостаточной или передискретизации? Ответ — нет. Классовый дисбаланс сам по себе вовсе не является проблемой.

Кроме того,

1. передискретизация
2. недостаточная выборка
3. а также присвоение весов образцам

может применяться практиками в многоклассовой классификации или в ситуациях с очень несбалансированной структурой затрат . Это может быть сделано для достижения «желательных», наилучших показателей для каждого класса (потенциально измеряемых точностью и полнотой в каждом классе).Однако поиск наилучшей эффективности многоклассовой классификации или наилучшего компромисса между точностью и полнотой является по своей сути многоцелевой задачей оптимизации. Хорошо известно, что эти задачи обычно имеют множество несравнимых оптимальных по Парето решений. Передискретизация или недостаточная выборка, а также присвоение весов выборкам — это неявный способ найти определенный оптимум Парето (и при этом приходится жертвовать калибровкой оцененных вероятностей). Более явным способом, чем передискретизация или понижение дискретизации, может быть выбор оптимума Парето по формуле

• назначьте явные затраты неправильно классифицированным образцам, а затем минимизируйте общие (скаляризованные) затраты с помощью экономически чувствительного машинного обучения .
• выполнить настройку порога в настройке двоичной классификации, чтобы достичь определенной точности проверки и отзыва

См. также

• Выборка (статистика)
• Увеличение данных
• Недостаточная дискретизация (при обработке сигналов)

Литература

• Кубат, М. (2000). Решение проблемы несбалансированных обучающих наборов: односторонний отбор. Четырнадцатая международная конференция по машинному обучению.
• Чавла, Нитеш В. (2010) Интеллектуальный анализ данных для несбалансированных наборов данных: обзор doi : 10.1007/978-0-387-09823-4_45 В: Маймон, Одед; Рокач, Лиор (ред.), Справочник по интеллектуальному анализу данных и обнаружению знаний , Springer ISBN   978-0-387-09823-4 (страницы 875–886)
• Леметр, Г. Ногейра, Ф. Аридас, Ч.К. (2017) Imbalanced-learn: набор инструментов Python для решения проблемы несбалансированных наборов данных в машинном обучении , Journal of Machine Learning Research, vol. 18, нет. 17, 2017, стр. 1–5.