Вменение (статистика)

Чтобы узнать о других значениях слова «вменение», см. «Вменение (значения)» .

В статистике вменение — это процесс замены отсутствующих данных замененными значениями. При замене точки данных это называется « вменением единицы »; при замене компонента точки данных это называется « вменением элемента ». Существует три основные проблемы, которые вызывают отсутствие данных: отсутствие данных может привести к существенной систематической ошибке обработку и анализ данных , усложнить и привести к снижению эффективности . Поскольку отсутствующие данные могут создать проблемы при анализе данных, вменение рассматривается как способ избежать ошибок, связанных с списковым удалением случаев с пропущенными значениями. То есть, когда для случая отсутствует одно или несколько значений, большинство статистических пакетов по умолчанию отбрасывают любой случай, в котором отсутствует значение, что может привести к систематической ошибке или повлиять на репрезентативность результатов. Вменение сохраняет все случаи, заменяя отсутствующие данные оценочным значением, основанным на другой доступной информации. После того как все пропущенные значения будут вменены, набор данных можно проанализировать с использованием стандартных методов для получения полных данных. Ученые выдвинули множество теорий, объясняющих недостающие данные, но большинство из них вносят предвзятость. Некоторые из хорошо известных попыток справиться с недостающими данными включают в себя: вменение «горячей колоды» и «холодной колоды»; удаление по спискам и попарно; среднее вменение; неотрицательная матричная факторизация; регрессионное вменение; последнее наблюдение перенесено; стохастическое вменение; и множественное вменение.

Удаление по списку (полный регистр)

Основная статья: Удаление по списку

На сегодняшний день наиболее распространенным способом борьбы с отсутствующими данными является удаление по списку (также известное как полный регистр), при котором удаляются все наблюдения с отсутствующим значением. Если данные отсутствуют полностью случайным образом , то удаление по списку не добавляет никакой систематической ошибки, но снижает эффективность анализа за счет уменьшения эффективного размера выборки. Например, если собрано 1000 случаев, но в 80 из них отсутствуют значения, эффективный размер выборки после удаления по списку составит 920. Если случаи не исчезают полностью случайным образом, то удаление по списку приведет к смещению, поскольку подвыборка случаев, представленная недостающие данные не являются репрезентативными для исходной выборки (и если исходная выборка сама по себе была репрезентативной выборкой популяции, полные случаи также не являются репрезентативными для этой популяции). Хотя списочное удаление является объективным, когда отсутствующие данные отсутствуют совершенно случайно, на самом деле это случается редко.

Попарное удаление (или «доступный анализ случаев») предполагает удаление случая, когда в нем отсутствует переменная, необходимая для конкретного анализа, но включение этого случая в анализы, для которых присутствуют все необходимые переменные. При использовании попарного удаления общее число N для анализа не будет одинаковым для всех оценок параметров. Из-за неполных значений N в некоторые моменты времени при сохранении полного сравнения случаев для других параметров попарное удаление может привести к невозможным математическим ситуациям, таким как корреляции, превышающие 100%.

Одним из преимуществ полного удаления регистров перед другими методами является простота и простота реализации. Это основная причина, по которой полный регистр является наиболее популярным методом обработки недостающих данных, несмотря на множество недостатков.

Единое вменение

Горячая палуба

Когда-то распространенным методом вменения было вменение в горячем режиме, когда недостающее значение вменялось из случайно выбранной аналогичной записи. Термин «горячая колода» восходит к хранению данных на перфокартах и ​​указывает на то, что доноры информации происходят из того же набора данных, что и получатели. Стопка карточек была «горячей», поскольку в данный момент она обрабатывалась.

Одна из форм горячего вменения называется «переносом последнего наблюдения вперед» (или сокращенно LOCF), которая включает в себя сортировку набора данных по любой из нескольких переменных, создавая таким образом упорядоченный набор данных. Затем этот метод находит первое пропущенное значение и использует значение ячейки непосредственно перед отсутствующими данными для вменения пропущенного значения. Процесс повторяется для следующей ячейки с пропущенным значением, пока все пропущенные значения не будут вменены. В обычном сценарии, когда случаи представляют собой повторные измерения переменной для человека или другого объекта, это отражает убеждение в том, что, если измерение отсутствует, лучшим предположением является то, что оно не изменилось с момента последнего измерения. Известно, что этот метод увеличивает риск увеличения предвзятости и потенциально ложных выводов. По этой причине LOCF не рекомендуется использовать.

Холодная палуба

Метод «холодного расчета», напротив, выбирает доноров из другого набора данных. Благодаря развитию компьютерной мощности более сложные методы вменения в целом вытеснили первоначальные методы вменения методом случайной и сортированной «горячей колоды». Это метод замены значениями ответов аналогичных вопросов в прошлых опросах. Он доступен в опросах, измеряющих временные интервалы.

Средняя замена

Другой метод вменения включает замену любого пропущенного значения средним значением этой переменной для всех остальных случаев, преимуществом которого является отсутствие изменения выборочного среднего для этой переменной. Однако вменение среднего значения ослабляет любые корреляции, включающие вменяемую переменную(и). Это связано с тем, что в случаях с вменением гарантировано отсутствие связи между вмененной переменной и любыми другими измеряемыми переменными. Таким образом, вменение среднего имеет некоторые привлекательные свойства для одномерного анализа, но становится проблематичным для многомерного анализа.

Вменение среднего значения может осуществляться внутри классов (т.е. таких категорий, как пол) и может быть выражено как ${\hat {y}}_{i}={\bar {y}}_{h}$ где ${\hat {y}}_{i}$ это вмененное значение для записи $i$ и ${\bar {y}}_{h}$ это выборочное среднее данных респондентов внутри некоторого класса $h$. Это частный случай вменения обобщенной регрессии:

$${\hat {y}}_{mi}=b_{r0}+\sum _{j}b_{rj}z_{mij}+{\hat {e}}_{mi}$$

Здесь значения $b_{r0},b_{rj}$ оцениваются на основе регрессии $y$ на $x$ в невмененных данных, $z$ — это фиктивная переменная для членства в классе, а данные разбиваются на респондентов ( $r$) и отсутствует ( $m$).

Неотрицательная матричная факторизация

Неотрицательная матричная факторизация (NMF) может принимать недостающие данные, минимизируя при этом функцию стоимости, вместо того, чтобы рассматривать эти недостающие данные как нули, которые могут привести к систематической ошибке. Это делает его математически доказанным методом вменения данных. NMF может игнорировать недостающие данные в функции стоимости, а влияние отсутствующих данных может быть столь же малым, как эффект второго порядка.

Регрессия

Вменение регрессии имеет противоположную проблему вменения среднего значения. Предполагается, что регрессионная модель прогнозирует наблюдаемые значения переменной на основе других переменных, и эта модель затем используется для вменения значений в тех случаях, когда значение этой переменной отсутствует. Другими словами, доступная информация для полных и неполных случаев используется для прогнозирования значения конкретной переменной. Затем подобранные значения из регрессионной модели используются для вменения недостающих значений. Проблема в том, что вмененные данные не содержат ошибки, включенной в их оценку, поэтому оценки идеально соответствуют линии регрессии без какой-либо остаточной дисперсии. Это приводит к чрезмерной идентификации связей и предполагает более высокую точность вмененных значений, чем это оправдано. Модель регрессии предсказывает наиболее вероятное значение отсутствующих данных, но не обеспечивает неопределенности в отношении этого значения.

Стохастическая регрессия была довольно успешной попыткой исправить отсутствие ошибки в вменении регрессии путем добавления средней дисперсии регрессии к вменениям регрессии для внесения ошибки. Стохастическая регрессия демонстрирует гораздо меньшую предвзятость, чем вышеупомянутые методы, но она все же упускает одну вещь: если данные вменены, то интуитивно можно подумать, что в проблему следует внести больше шума, чем простое остаточное отклонение.

Множественное вменение

Чтобы решить проблему увеличения шума из-за вменения, Рубин (1987) разработал метод усреднения результатов по нескольким наборам вмененных данных, чтобы учесть это. Все методы множественного вменения состоят из трех этапов.

1. Вменение. Подобно однократному вменению, вменяются пропущенные значения. Однако вмененные значения извлекаются m из распределения раз, а не только один раз. В конце этого шага должно быть m завершенных наборов данных.
2. каждый из m Анализ – анализируется наборов данных. В конце этого шага должны быть проведены анализы .
3. Объединение — m результатов объединяются в один результат путем расчета среднего значения, дисперсии и доверительного интервала рассматриваемой переменной. или путем объединения моделирования каждой отдельной модели.

Множественное вменение может использоваться в случаях, когда данные отсутствуют полностью случайно , отсутствуют случайно или отсутствуют неслучайно , хотя в последнем случае оно может быть необъективным. Одним из подходов является множественное вменение с помощью цепных уравнений (MICE), также известное как «полностью условная спецификация» и «множественное вменение последовательной регрессии». MICE предназначен для пропуска случайных данных, хотя существуют данные моделирования, позволяющие предположить, что при достаточном количестве вспомогательных переменных он также может работать с данными, которые отсутствуют не случайно. Однако MICE может страдать от проблем с производительностью, когда количество наблюдений велико, а данные имеют сложные характеристики, такие как нелинейности и высокая размерность.

Более поздние подходы к множественному вменению используют методы машинного обучения для повышения его производительности. MIDAS (множественное вменение с автоэнкодерами шумоподавления), например, использует автоэнкодеры шумоподавления , тип неконтролируемой нейронной сети, для изучения мелкозернистых скрытых представлений наблюдаемых данных. Было показано, что MIDAS обеспечивает преимущества в точности и эффективности по сравнению с традиционными стратегиями множественного вменения.

Как упоминалось в предыдущем разделе, однократное вменение не учитывает неопределенность в вменениях. После вменения данные обрабатываются так, как если бы они были фактическими реальными значениями при однократном вменении. Пренебрежение неопределенностью в вменении может привести к слишком точным результатам и ошибкам в любых сделанных выводах. При многократном вменении множественное вменение учитывает неопределенность и диапазон значений, которые могло бы принять истинное значение. Как и ожидалось, сочетание оценки неопределенности и глубокого обучения для вменения является одной из лучших стратегий и использовалось для моделирования гетерогенных данных об открытии лекарств.

Кроме того, хотя однократное вменение и полный случай реализовать проще, множественное вменение реализовать не очень сложно. Существует широкий спектр статистических пакетов в различных статистических программах , которые легко выполняют множественное вменение. Например, пакет MICE позволяет пользователям R выполнять множественное вменение с использованием метода MICE. MIDAS можно реализовать в R с помощью пакета rMIDAS и в Python с помощью пакета MIDASpy.

См. также

• Начальная загрузка (статистика)
• Цензура (статистика)
• Алгоритм ожидания-максимизации
• Гео-импутация
• Интерполяция
• Завершение матрицы
• Полная информация, максимальная вероятность

Внешние ссылки

• Недостающие данные: Слонопотамы на уровне инструментов и Вузлы на уровне предметов
• Multiple-imputation.com
• Часто задаваемые вопросы о множественном вменении, Университет штата Пенсильвания
• Описание «горячего» вменения Статистического управления Финляндии.
• Статья, расширяющая подход Рао-Шао и обсуждающая проблемы с множественным вменением.
• Бумажный алгоритм индукции нечетких неупорядоченных правил, используемый в качестве методов вменения пропущенных значений для кластеризации K-средних на реальных сердечно-сосудистых данных.
• [1] Реальное применение вменения Управлением национальной статистики Великобритании.