Эффект дизайна

В опросных исследованиях эффект дизайна — это число, которое показывает, насколько хорошо выборка людей может представлять большую группу людей для определенного показателя интереса (например, среднего значения). Это важно, когда выборка формируется методом выборки , который отличается от простого отбора людей с использованием простой случайной выборки .

Эффект дизайна — это положительное действительное число , представленное символом ${\text{Deff}}$. Если ${\text{Deff}}=1$, то выборка была отобрана так же хорошо, как если бы люди были выбраны случайным образом. Когда ${\text{Deff}}>1$, то выводы на основе собранных данных не будут такими точными, как если бы люди выбирались случайным образом.

Когда исследователи используют сложные методы для отбора выборки, они используют эффект дизайна для проверки и корректировки своих результатов. Его также можно использовать при планировании исследования для определения размера выборки .

Введение

В методологии опроса эффект схемы (обычно обозначаемый как ${\text{Deff}}$, $D_{\text{eff}}$, или $D_{\text{eft}}^{2}$ это мера ожидаемого воздействия плана выборки на дисперсию оценщика ) — некоторого параметра совокупности. Он рассчитывается как отношение дисперсии оценщика, основанного на выборке из (часто) сложной схемы выборки , к дисперсии альтернативной оценки, основанной на простой случайной выборке (SRS) из того же числа элементов. ${\text{Deff}}$ (будь то оцененный или известный заранее ) может использоваться для оценки дисперсии оценщика в тех случаях, когда выборка не формируется с использованием простой случайной выборки. Это также может быть полезно при расчете размера выборки. и для количественной оценки репрезентативности проб, собранных с использованием различных планов выборки.

Эффект дизайна — это положительное действительное число , которое указывает на инфляцию ( ${\text{Deff}}>1$), или дефляция ( ${\text{Deff}}<1$) в дисперсии оценки некоторого параметра, что связано с исследованием без использования SRS (с ${\text{Deff}}=1$, когда дисперсии одинаковы). Интуитивно мы можем получить ${\text{Deff}}<1$ когда у нас есть некоторые априорные знания, которые мы можем использовать в процессе выборки (что бывает довольно редко). И, напротив, мы часто получаем ${\text{Deff}}>1$ когда нам нужно компенсировать некоторые ограничения в нашей способности собирать данные (что встречается чаще). Некоторые схемы выборки, которые могли бы представить ${\text{Deff}}$ обычно больше 1, включают: кластерную выборку (например, когда существует корреляция между наблюдениями), стратифицированную выборку (с непропорциональным распределением по размерам страт), кластерное рандомизированное контролируемое исследование , непропорциональную (неравную вероятность) выборку (например, выборку Пуассона ), статистические корректировки данных по непокрытию или неполучению ответов и многие другие. Стратифицированная выборка может дать ${\text{Deff}}$ это значение меньше 1 при использовании пропорционального распределения по размерам страт (когда они известны априорно и коррелируют с интересующим результатом) или оптимального распределения (когда дисперсия различается между стратами и известна априори).

В литературе было предложено множество расчетов (и оценок) того, как известный план выборки влияет на дисперсию интересующих оценок, увеличивая или уменьшая ее. Как правило, эффект схемы варьируется в зависимости от различных статистических данных, таких как среднее значение общего числа или отношения . Также имеет значение, коррелирует ли структура выборки с интересующим результатом. Например, возможная схема выборки может быть такой, что каждый элемент выборки может иметь разную вероятность быть выбранным. В таких случаях уровень корреляции между вероятностью выбора элемента и его измеренным результатом может иметь прямое влияние на последующий эффект проектирования. Наконец, на эффект дизайна может влиять распределение самого результата. Все эти факторы следует учитывать при оценке и использовании эффекта дизайна на практике.

История

Термин «эффект дизайна» был придуман Лесли Кишем в его книге «Выборка выборки» 1965 года. В ней Киш предложил общее определение эффекта дизайна: а также формулы расчетного эффекта кластерной выборки (с внутриклассовой корреляцией); и знаменитая формула эффекта дизайна для выборки с неравной вероятностью . Их часто называют «эффектом дизайна Киша», а позже они были объединены в единую формулу.

В статье 1995 года Киш упоминает, что аналогичная концепция, названная «лексисным соотношением», была описана в конце XIX века. Тесно связанная внутриклассовая корреляция была описана Фишером в 1950 году, тогда как расчеты отношений дисперсий уже были опубликованы Кишем и другими с конца 1940-х по 1950-е годы. Одним из предшественников определения Киша была работа Корнфилда в 1951 году.

В своей статье 1995 года Киш предположил, что учет эффекта схемы необходим при усреднении одной и той же измеренной величины по результатам нескольких исследований, проведенных за определенный период времени. Он также предложил учитывать эффект дизайна при экстраполяции ошибок простых статистических данных (например, среднего значения) к более сложным (например, коэффициентам регрессии). Однако при анализе данных (например, использовании данных опросов для соответствия моделям) ${\text{Deff}}$ значения в настоящее время менее полезны из-за наличия специализированного программного обеспечения для анализа данных опросов. До разработки программного обеспечения, которое вычисляет стандартные ошибки для многих типов проектов и оценок, аналитики корректировали стандартные ошибки, создаваемые программным обеспечением, которое предполагало, что все записи в наборе данных идентифицированы, путем умножения их на ${\text{Deft}}$ (см. определение Deft ниже).

Определения

Обозначения

Таблица 1: Сводка обозначений

Символ	Описание
${\text{var}}({\hat {\theta }}_{w})$	Отклонение оценки ${\hat {\theta }}_{w}$ при заданном плане выборки
${\text{var}}({\hat {\theta }}_{SRSWOR})$	Отклонение оценки ${\hat {\theta }}_{SRSWOR}$ при простой случайной выборке без замещения (SRSWOR)
${\text{var}}({\hat {\theta }}_{SRSWR})$	Отклонение оценки ${\hat {\theta }}_{SRSWR}$ при простой случайной выборке с заменой (SRSWR)
${\text{Deff}}$, $D_{\text{eff}}$	Эффект дизайна, мера влияния плана выборки на дисперсию оценщика по сравнению с простой случайной выборкой без замены (SRSWOR), ${\text{Deff}}_{p}({\hat {\theta }})={\frac {var({\hat {\theta }}_{w})}{var({\hat {\theta }}_{SRSWOR})}}$
${\text{Deft}}$, $D_{\text{eft}}$	Коэффициент эффекта плана, квадратный корень из отношения дисперсий при данном плане выборки и SRS с заменой (SRSWR), ${\text{Deft}}={\sqrt {\frac {{\text{var}}({\hat {\theta }}_{w})}{{\text{var}}({\hat {\theta }}_{SRSWR})}}}$
$n$	Размер выборки
$N$	Численность населения
$n_{\text{eff}}$	Эффективный размер выборки, размер выборки в соответствии с SRS, необходимый для достижения той же дисперсии, что и заданный план выборки, $n_{\text{eff}}={\frac {n}{\text{Deff}}}$
$w_{i}$	Вес для $i$-я единица
$n_{h}$	Размер выборки для страты $h$
$N_{h}$	Численность населения по страте $h$
$w_{h}$	Вес для слоя $h$
$H$	Общее количество слоев
$n^{*}$, ${\bar {b}}$	Средний размер кластера
$K$	Общее количество кластеров
$n_{k}$	Размер выборки для кластера $k$
$\rho$	Коэффициент внутриклассовой корреляции (ICC) для кластерной выборки
$L$, $C_{V}^{2}$, ${\text{relvar}}(w)$	Меры вариации весов с использованием квадрата коэффициента вариации (CV) (релвариантность)
${\hat {\rho }}_{y,P}$	Предполагаемая корреляция между переменной результата $y$ и вероятности выбора $P$
${\hat {\alpha }}$	Расчетная точка пересечения в линейной регрессии выходной переменной $y$ о вероятностях выбора $P$
${\hat {\sigma }}_{y}$	Предполагаемое стандартное отклонение итоговой переменной $y$
$cv_{w}$, $cv_{P}$	Коэффициент вариации для весов $w$ и вероятности выбора $P$, соответственно
$f$	Доля выборки, $f=n/N$
$S_{y}^{2}$	Популяционная дисперсия конечной переменной $y$
$p_{i}$, $P_{i}$	Вероятность выбора для $i$-я единица
$\pi _{i}$	Вероятность включения $i$-я единица

Защита

Эффект дизайна , обычно обозначаемый ${\text{Deff}}$ (или $D_{\text{eff}}$, иногда с дополнительными индексами), — отношение двух теоретических дисперсий оценок некоторого параметра ( $\theta$):

• Числитель представляет фактическую дисперсию оценки параметра ( ${\hat {\theta }}_{w}$) при заданном плане выборки $p$;
• Знаменатель представляет собой дисперсию при условии одинакового размера выборки, но если выборка была получена с использованием оценщика для простой случайной выборки без замены ( ${\hat {\theta }}_{SRSWOR}$).

Так что:

${\text{Deff}}_{p}({\hat {\theta }})={\frac {var({\hat {\theta }}_{w})}{var({\hat {\theta }}_{SRSWOR})}}$

Другими словами, ${\text{Deff}}$ измеряет степень увеличения дисперсии (или, в некоторых случаях, уменьшения) в результате того, что выборка была составлена ​​и скорректирована в соответствии с конкретным планом выборки (например, с использованием весов или других показателей) по сравнению с тем, если бы выборка была составлена ​​из простой случайной выборки. (без замены). Обратите внимание, как определение ${\text{Deff}}$ основан на параметрах популяции, которые часто неизвестны и которые трудно оценить напрямую. В частности, это определение включает в себя дисперсию оценок при двух разных планах выборки, хотя на практике используется только один план выборки.

Например, при оценке среднего значения численности населения ${\text{Deff}}$ (для некоторых планов выборки p) составляет:

${\text{Deff}}_{p}={\frac {var_{p}({\bar {y}}_{p})}{(1-f)S_{y}^{2}/n}}$

Где $n$ размер выборки, $f=n/N$ - доля выборки от генеральной совокупности, $(1-f)$ - (квадратная) конечная популяционная поправка (FPC), $S_{y}^{2}$ — несмещенная выборочная дисперсия , и $var_{p}({\bar {y}}_{p})$ является некоторой оценкой дисперсии среднего значения при схеме выборки. Проблема с приведенной выше формулой заключается в том, что крайне редко удается напрямую оценить дисперсию расчетного среднего значения при двух разных схемах выборки, поскольку большинство исследований полагаются только на одну схему выборки.

Существует множество способов расчета ${\text{Deff}}$, в зависимости от интересующего параметра (например, общая численность населения, среднее значение генеральной совокупности, квантили, соотношение количеств и т. д.), используемого оценщика и схемы выборки (например, кластерная выборка, стратифицированная выборка, пост-стратификация, многоэтапная выборка и т. д.). .). Процесс оценки ${\text{Deff}}$ для конкретных конструкций будут описаны в следующем разделе .

Ловкий

Соответствующее количество ${\text{Deff}}$, предложенный Кишем в 1995 году, представляет собой расчетный эффект-фактор , сокращенно ${\text{Deft}}$ (или также $D_{\text{eft}}$). Он определяется как квадратный корень из коэффициентов дисперсии, при этом в знаменателе используется простая случайная выборка с заменой (SRSWR), а не без замены (SRSWOR):

${\text{Deft}}={\sqrt {\frac {{\text{var}}({\hat {\theta }}_{w})}{{\text{var}}({\hat {\theta }}_{SRSWR})}}}$

В этом более позднем определении (предложенном в 1995 г. по сравнению с 1965 г.) Киш выступал за использование ${\text{Deft}}^{2}$ над ${\text{Deff}}$ по нескольким причинам. Утверждалось, что SRS «без замещения» (с его положительным влиянием на дисперсию) следует отражать в знаменателе определения эффекта схемы, поскольку он является частью плана выборки. Кроме того, поскольку часто использование коэффициента находится в доверительных интервалах ), утверждалось, что использование ${\text{Deft}}$ будет проще, чем писать ${\sqrt {\text{Deff}}}$. Говорят также, что во многих случаях, когда популяция очень велика, ${\text{Deft}}$ (почти) квадратный корень из ${\text{Deff}}$ ( ${\text{Deft}}\approx {\sqrt {\text{Deff}}}$), следовательно, его проще использовать, чем точно рассчитывать поправку на конечную численность (FPC).

Несмотря на это, в различных случаях исследователь может приблизительно ${\text{Deft}}$ путем расчета дисперсии в числителе, предполагая SRS с заменой (SRSWR) вместо SRS без замены (SRSWOR), даже если это неточно. Например, рассмотрим многоступенчатый план, в котором первичные единицы выборки (ПЕВ) отбираются систематически с вероятностью, пропорциональной некоторой мере размера, из списка, отсортированного определенным образом (скажем, по количеству домохозяйств в каждой ПЕВ). Кроме того, пусть он будет объединен с оценщиком, который использует сгребание для сопоставления итогов по нескольким демографическим переменным. В такой схеме вероятности совместного выбора для ПЕВ, которые необходимы для оценки дисперсии без замены, равны 0 для некоторых пар ПЕВ, что означает, что точной оценки дисперсии на основе плана (т. е. с повторной выборкой) не существует. Другой пример — когда для анализа используется файл общего пользования, выданный каким-либо государственным органом. В этом случае информация о вероятностях совместного выбора блоков первой ступени практически никогда не публикуется. В результате аналитик не может оценить а с заменой дисперсии числителя, даже если это необходимо. Стандартным обходным решением является вычисление оценки дисперсии, как если бы ПЕВ были выбраны с заменой. Это выбор по умолчанию в таких пакетах программного обеспечения, как Stata, пакет опросов R и процедуры опросов SAS.

Эффективный размер выборки

Эффективный размер выборки , определенный Кишем в 1965 году, рассчитывается путем деления исходного размера выборки на эффект схемы. А именно:

$n_{\text{eff}}={\frac {n}{\text{Deff}}}$

Эта величина отражает, каким был бы размер выборки, необходимый для достижения текущей дисперсии оценщика (для некоторого параметра) при существующем плане, если бы план выборки (и соответствующий оценщик параметров) был основан на простой случайной выборке .

Связанная с этим величина — это эффективного размера выборки коэффициент , который можно рассчитать, просто взяв обратную величину. ${\text{Deff}}$ (т.е. ${\frac {n_{\text{eff}}}{n}}={\frac {1}{\text{Deff}}}$).

Например, пусть эффект схемы для оценки среднего значения совокупности на основе некоторого плана выборки равен 2. Если размер выборки равен 1000, то эффективный размер выборки будет равен 500. Это означает, что дисперсия средневзвешенного значения, основанного на 1000, равна 2 . выборки будут такими же, как и простое среднее значение , основанное на 500 выборках, полученных с использованием простой случайной выборки.

Эффект плана для известных планов выборки

Эффект схемы зависит от схемы выборки и статистических корректировок.

Различные схемы выборки и статистические корректировки могут существенно по-разному влиять на систематическую ошибку и дисперсию оценок (например, среднего значения).

Примером схемы, которая может привести к повышению эффективности оценки по сравнению с простой случайной выборкой, является стратифицированная выборка . Эта эффективность достигается за счет использования информации о составе населения. Например, если известно, что пол коррелирует с интересующим результатом, а также что соотношение мужчин и женщин для некоторой популяции составляет (скажем) 50%-50%, то выборка ровно половины выборки каждого пола уменьшит дисперсия оценки результата. Аналогичным образом, если какая-то конкретная подгруппа населения представляет особый интерес, намеренное увеличение выборки из этой подгруппы населения уменьшит дисперсию оценок, сделанных по ней.

Повышение эффективности дисперсии иногда может быть принесено в жертву ради удобства или стоимости. Например, в случае кластерной выборки единицы могут иметь равные или неравные вероятности выбора, независимо от их внутриклассовой корреляции (и их отрицательного эффекта увеличения дисперсии оценок). Мы могли бы решить (по практическим соображениям) собирать ответы только от двух человек из каждого домохозяйства (т. е. от выборочного кластера), что могло бы привести к более сложной корректировке после выборки, чтобы справиться с неравными вероятностями отбора. Кроме того, такие решения могут привести к менее эффективным оценкам, чем просто взятие фиксированной доли ответов из кластера.

Если план выборки не установлен заранее и его необходимо определить на основе имеющихся у нас данных, это может привести к увеличению как дисперсии, так и систематической ошибки взвешенной оценки. Это может произойти при внесении корректировок по таким вопросам, как непокрытие, отсутствие ответов или неожиданное разделение слоев населения, которое не было доступно на начальном этапе выборки. В этих случаях мы могли бы использовать статистические процедуры, такие как постстратификация, ранжирование или обратное взвешивание оценки склонности (где оценки склонности оцениваются), среди других методов. Использование этих методов требует предположений относительно исходной проектной модели. Например, когда мы используем пост-стратификацию по возрасту и полу, предполагается, что эти переменные могут объяснить значительную часть систематической ошибки в выборке. Качество этих оценок тесно связано с качеством дополнительной информации и отсутствием случайных предположений, используемых при их составлении. В любом случае, даже когда оценщики (например, модели оценки склонности) хорошо справляются с задачей, охватывая большую часть плана выборки, использование весов может иметь небольшую или большую разницу, в зависимости от конкретного набора данных.

Из-за большого разнообразия планов выборки (с влиянием или без влияния на неравные вероятности отбора) были разработаны различные формулы для учета потенциального эффекта схемы, а также для оценки дисперсии оценок при учете планов выборки. Иногда эти различные эффекты дизайна могут быть объединены вместе (как в случае с неравной вероятностью выбора и кластерной выборкой, подробнее об этом читайте в следующих разделах). Использовать ли эти формулы или просто предположить SRS, зависит от ожидаемой величины снижения систематической ошибки по сравнению с увеличением дисперсии оценки (и накладных расходов, связанных с методологической и технической сложностью).

Таблица 2. Сводная информация о формулах эффекта дизайна

Название формулы	Уравнение	Описание
Эффект конструкции Киша для неравных весов	${\text{Deff}}={\frac {n\sum _{i=1}^{n}w_{i}^{2}}{(\sum _{i=1}^{n}w_{i})^{2}}}={\frac {\overline {w^{2}}}{{\overline {w}}^{2}}}$	Измеряет потерю точности из-за неравных весов, где $w_{i}$ это вес для $i$-ая единица.
Эффект дизайна Киша для кластерной выборки	${\text{Deff}}=1+(n^{*}-1)\rho$	Измеряет потерю точности из-за кластерной выборки, где $n^{*}$ средний размер кластера и $\rho$ – внутриклассовая корреляция.
Комбинированный дизайнерский эффект Киша	${\text{Deff}}={\frac {n\sum _{h=1}^{H}(n_{h}w_{h}^{2})}{(\sum _{h=1}^{H}n_{h}w_{h})^{2}}}(1+(n^{*}-1)\rho )$	Измеряет совокупный эффект неравных весов и кластерной выборки, где $n_{h}$ и $w_{h}$ размер и вес выборки для $h$-й слой соответственно.
Эффект расчета Спенсера для расчетной суммы	${\text{Deff}}=(1-{\hat {\rho }}_{y,P}^{2})(1+L)+({\frac {\hat {\alpha }}{{\hat {\sigma }}_{y}}})^{2}L$	Измеряет эффект схемы для оценки итоговой суммы, когда существует корреляция между результатом и вероятностями выбора, где ${\hat {\rho }}_{y,P}$ - предполагаемая корреляция, $L$ - реляционность весов, ${\hat {\alpha }}$ - предполагаемый перехват, и ${\hat {\sigma }}_{y}$ — предполагаемое стандартное отклонение результата.
Эффект дизайна Парка и Ли для расчетного среднего отношения	${\text{Deff}}=(1-{\hat {\rho }}_{y,P}^{2})(1+cv_{w}^{2})+{\frac {{\hat {\rho }}_{y,P}^{2}}{cv_{P}^{2}}}cv_{w}^{2}$	Измеряет эффект схемы для оценки среднего отношения, когда существует корреляция между результатом и вероятностями выбора, где $cv_{w}$ и $cv_{P}$ – коэффициенты вариации весов и вероятностей выбора соответственно.
Эффект конструкции Генри для калибровочного взвешивания	Расширяет эффект конструкции Киша, включив в него калибровочное взвешивание в одноэтапных образцах.	Предлагает показатель эффекта дизайна с помощью модели для одноэтапной выборки с калибровочным взвешиванием, учитывая корреляцию между результатом и калибровочными переменными.
Эффект дизайна Лора для наклона регрессии	Предоставляет формулы эффекта дизайна для оценок наклона регрессии OLS и GLS при кластерной выборке.	Представлены формулы эффекта дизайна для оценок наклона регрессии обычных наименьших квадратов (OLS) и обобщенных наименьших квадратов (GLS) в контексте кластерной выборки с использованием модели случайных коэффициентов.

Неравные вероятности выбора

Источники неравных вероятностей отбора

Таблица 3: Сводная информация об источниках неравных вероятностей выбора

Источник	Описание	Примеры	Влияние на вероятность выборки
Непропорциональная выборка	Намеренно завышенная/заниженная выборка определенных подгрупп или групп	- Оптимальное распределение при стратифицированной выборке - Передискретизация небольших групп для сравнения - Кластерная выборка с неравными размерами кластеров.	Приводит к неравным вероятностям выбора по замыслу
Непокрытие	Неспособность включить все элементы целевой совокупности в основу выборки	- Выборка на основе неполных списков (например, телефонных книг) - Реклама для набора участников опроса	Влияет на вероятность выборки, но это влияние трудно измерить и скорректировать.
Отсутствие ответа	Неспособность получить измерения от отобранных единиц, которые предназначались для измерения	- Отсутствие ответа подразделения (например, отказ, отсутствие дома) - Отсутствие ответа на вопрос (например, деликатные вопросы) - Неспособность ответить (например, языковой барьер, болезнь)	Приводит к неравной вероятности отбора, поскольку уровень неполучения ответов может различаться в зависимости от подгруппы.
Статистические корректировки	Последующие корректировки весов выборки для учета известных характеристик совокупности или для смягчения систематических ошибок в связи с непокрытием и отсутствием ответов.	- Постстратификация - Грабли - Взвешивание оценки склонности - Калибровочное взвешивание	Вводит неравные веса для улучшения репрезентативности, но может увеличить дисперсию.

Существуют различные способы выборки единиц, чтобы каждая единица имела одинаковую вероятность выбора. Такие методы называются методами равновероятной выборки (EPSEM). Некоторые из наиболее простых методов включают простую случайную выборку (SRS, с заменой или без нее) и систематическую выборку для получения выборки фиксированного размера. Существует также выборка Бернулли со случайным размером выборки. Более продвинутые методы, такие как стратифицированная выборка и кластерная выборка, также могут быть разработаны для EPSEM. Например, при кластерной выборке мы можем использовать двухэтапную выборку, при которой мы отбираем каждый кластер (который может иметь разные размеры) с равной вероятностью, а затем отбираем из каждого кластера на втором этапе, используя SRS с фиксированной пропорцией (например, выборка половина кластера, весь кластер и т. д.). Этот метод даст EPSEM, но конкретное количество элементов, которые мы получим, является стохастическим (т. е. недетерминированным). Другая стратегия кластерной выборки, которая приводит к EPSEM, заключается в выборке кластеров способом, пропорциональным их размерам, а затем выборке фиксированного количества элементов внутри каждого кластера.

В своих работах Киш и другие выделяют несколько известных причин, приводящих к неравным вероятностям отбора:

1. Непропорциональная выборка из-за структуры или процедуры отбора. Это происходит, когда исследователь намеренно увеличивает или занижает выборку определенных подгрупп или кластеров. Например:

   • При стратифицированной выборке , когда известно, что единицы из некоторых слоев имеют большую дисперсию, чем другие слои. В таких случаях намерение исследователя может состоять в том, чтобы использовать эти предварительные знания о дисперсии между слоями, чтобы уменьшить общую дисперсию оценки некоторого интересующего параметра уровня популяции (например, среднего значения). Этого можно достичь с помощью стратегии, известной как оптимальное распределение , при которой страта $h$ избыточная выборка пропорциональна более высокому стандартному отклонению и более низкой стоимости выборки (т. е. $f_{h}\propto {\frac {S_{h}}{\sqrt {C_{h}}}}$, где $S_{h}$ стандартное отклонение результата в $h$, и $C_{h}$ относится к стоимости набора одного элемента из $h$). Примером оптимального распределения является оптимальное распределение Неймана , которое, когда стоимость набора людей из каждой страты фиксирована, размер выборки составляет: $n_{h}=n{\frac {W_{h}S_{Uh}}{\sum _{h}W_{h}S_{Uh}}}$. Если суммирование производится по всем слоям: n — общий размер выборки; $n_{h}$ — размер выборки для слоя h ; $W_{h}={\frac {N_{h}}{N}}$ – относительный размер слоя h по сравнению со всей совокупностью N ; и $S_{Uh}$ — стандартная ошибка в слое h . Родственной концепции оптимального планирования является оптимальный план эксперимента .
   • Если существует интерес к сравнению двух слоев (например, людей из двух конкретных социально-демографических групп или из двух регионов и т. д.), в этом случае меньшая группа может быть подвергнута избыточной выборке. Таким образом, дисперсия средства оценки, сравнивающего две группы, уменьшается.
   • При кластерной выборке могут быть кластеры разного размера, но процедура осуществляет выборку из всех кластеров с помощью SRS , и измеряются все элементы в кластере (например, если размеры кластера не известны заранее на этапе выборки).
   • В некоторых случаях двухэтапная кластерная выборка основана на размерах кластеров. Например, когда на первом этапе кластеры отбираются пропорционально оценке их размера (так называемая вероятность PPS , пропорциональная размеру), а на втором этапе выбирается фиксированная пропорция элементов (например, половина или все элементы в кластер) — тогда вероятности выбора различны для элементов из разных кластеров. Похожий случай: первый этап пытается выполнить выборку кластеров с использованием PPS, второй этап использует фиксированное количество элементов в каждом кластере, но размеры кластеров, использованные для выборки на первом этапе, были неточными (так что некоторые меньшие кластеры могут иметь шанс быть выбранным выше, чем должен, и наоборот для более крупных кластеров со слишком малым шансом попасть в выборку). В таких случаях, чем больше ошибки в вероятностях выборки, использованных на первом этапе, тем больше будут неравные вероятности отбора для каждого элемента.
   • Когда основа, используемая для выборки, включает дублирование некоторых элементов, что приводит к тому, что некоторые элементы имеют большую вероятность попасть в выборку, чем другие (например, если основа выборки была создана путем объединения нескольких списков. Или если набор пользователей из нескольких рекламных каналов в котором некоторые пользователи доступны для набора по нескольким каналам, в то время как другие доступны для набора только по одному из каналов), так что разные единицы будут иметь разные вероятности выборки, что делает эту процедуру выборки не EPSEM.
   • Когда необходимо объединить несколько разных образцов/кадров. Например, если проводить разные рекламные кампании по набору респондентов. Или при объединении результатов нескольких исследований, проведенных разными исследователями и/или в разное время (т. е. метаанализ ).

   Когда происходит непропорциональная выборка из-за решений по планированию выборки, исследователь может (иногда) иметь возможность отследить решение и точно рассчитать точную вероятность включения. Когда эти вероятности выбора трудно проследить, их можно оценить с использованием некоторой модели оценки склонности в сочетании с информацией из вспомогательных переменных (например, возраста, пола и т. д.).

2. Непокрытие . Это происходит, например, если выборка людей осуществляется на основе некоторого заранее определенного списка, который не включает всех людей в совокупности (например, телефонная книга или использование рекламы для набора людей для участия в опросе). Эти недостающие единицы отсутствуют из-за того, что не удалось создать основу выборки , а не из-за преднамеренного исключения некоторых людей (например, несовершеннолетних, людей, которые не могут голосовать и т. д.). Считается, что влияние неохвата на вероятность выборки трудно измерить (и скорректировать) в различных ситуациях обследования, если не сделаны серьезные предположения. Корректировки на непокрытие могут привести к неадекватным весам, если для корректировки не используются соответствующие ковариаты. Если существуют ковариаты, которые можно использовать для корректировки непокрытия, ожидается, что они приведут к неравным весам опросов.
3. Отсутствие ответа . Это относится к невозможности получить измерения единиц выборки, которые предназначены для измерения. Причины отсутствия ответа различны и зависят от контекста. Человек может быть временно недоступен, например, если он не может ответить на звонок во время телефонного опроса. Человек также может отказаться отвечать на опрос по разным причинам, например, из-за разных тенденций людей из разных этнических/демографических/социально-экономических групп отвечать в целом; недостаточный стимул тратить время или делиться данными; название учреждения, проводящего обследование; неспособность ответить (например, из-за болезни, неграмотности или языкового барьера); ответчик не найден (например, переехал); ответ был потерян/уничтожен во время кодирования или передачи (т.е. ошибка измерения). В контексте опросов эти причины могут быть связаны с ответами на весь опрос или только на конкретные вопросы.
4. Статистические корректировки . Они могут включать в себя такие методы, как модели пост-стратификации , рейтинга или оценки склонности (оценки) , используемые для корректировки выборки до некоторых известных (или предполагаемых) размеров слоев. Эти корректировки могут дополнять расчетные веса , целью которых является учет дисбалансов, возникающих из-за какой-либо известной схемы выборки. Такие процедуры используются для устранения проблем при составлении выборки, начиная от ошибок выборки , недостаточного охвата основы выборки и заканчивая неполучением ответов. Например, эти методы можно использовать для того, чтобы сделать выборку более похожей на некоторые целевые «контроли» (т. е. представляющую интерес совокупность), процесс, также называемый «стандартизацией». В таких случаях эти корректировки помогают получить несмещенные оценки (часто за счет увеличения дисперсии, как показано в следующих разделах). Если исходная выборка является невероятностной выборкой , то корректировки после стратификации аналогичны квотной выборке . Обратите внимание, что если используется простая случайная выборка, постстратификация (с использованием некоторой вспомогательной информации) не дает оценки, которая будет равномерно лучше, чем просто невзвешенная оценка. Однако его можно рассматривать как более «надежную» оценку. Альтернативно, когда план выборки полностью известен (что приводит к некоторому $p_{h}$ вероятность выбора некоторого элемента из страты h ), а отсутствие ответа измеримо (т.е. мы знаем, что только $r_{h}$ наблюдения, на которые даны ответы в слое h ), то точно известный вес обратной вероятности можно вычислить для каждого элемента i из слоя h, используя: $w_{i}={\frac {1}{p_{h}r_{h}}}$. Иногда для оценки вероятности выбора используется статистическая корректировка, такая как пост-стратификация или рейкинг. Например, при сравнении имеющейся у нас выборки с той же целевой группой населения это также называется сопоставлением с контролем. Процесс оценки может быть сосредоточен только на приведении существующей популяции к альтернативной популяции (например, при попытке экстраполяции панели, составленной из нескольких регионов, на всю страну). В таком случае корректировка может быть сосредоточена на некотором калибровочном коэффициенте. $c_{i}$ и веса вычисляются как $w_{i}={\frac {c_{i}}{p_{h}r_{h}}}$. Однако в других случаях как недостаточный охват, так и неполучение ответов моделируются как часть статистической корректировки, что приводит к оценке общей вероятности выборки (скажем, $p_{i}'$). В таком случае веса просто: $w_{i}={\frac {1}{p_{i}'}}$. Обратите внимание, что при использовании статистических корректировок $w_{i}$ часто оценивается на основе какой-либо модели. Формулировки в следующих разделах предполагают это. $w_{i}$ известно, что неверно для статистических поправок (поскольку мы имеем только ${\widehat {w}}_{i}$). Однако если предположить, что ошибка оценки ${\widehat {w}}_{i}$ очень мал, то следующие разделы можно использовать, как если бы он был известен. Верность этого предположения зависит от размера выборки, используемой для моделирования, и об этом стоит помнить во время анализа. Когда вероятности выбора могут быть разными, размер выборки случайен, а вероятности попарного выбора независимы, мы называем это выборкой Пуассона .

«На основе дизайна» и «на основе модели» для описания свойств оценщиков

Поправка на выбор с неравной вероятностью с помощью «индивидуальных весов случаев» (например, взвешивание обратной вероятности) дает различные типы оценок интересующих величин. Оценщики, такие как оценщик Хорвица – Томпсона, дают несмещенные оценки (если вероятности выбора действительно известны или приблизительно известны) для общей суммы и среднего значения генеральной совокупности. Девилль и Серндал (1992) ввели термин « калибровочная оценка » для оценок, использующих веса, удовлетворяющие некоторым условиям, например, когда сумма весов равна размеру популяции. И вообще, что взвешенная сумма весов равна некоторому количеству вспомогательной переменной: $\sum w_{i}x_{i}=X$ (например, что сумма взвешенных возрастов респондентов равна численности населения в каждой возрастной группе).

Два основных способа спорить о свойствах калибровочных оценок:

1. на основе рандомизации (или на основе схемы выборки) — в данном случае веса ( $w_{i}$) и значения интересующего результата $y_{i}$ все измеренные в образце значения считаются известными. В этой схеме существует изменчивость (известных) значений результата ( Y ). Однако единственная случайность связана с тем, какой из элементов совокупности был выбран в выборку (часто обозначаемый как $I_{i}$, получая 1, если элемент $i$ находится в выборке и 0, если это не так). Для простой случайной выборки каждый $I_{i}$ будет IID- распределением Бернулли с некоторым параметром $p$. Для общего EPSEM (выборка равной вероятности) $I_{i}$ все равно будет Бернулли с каким-то параметром $p$, но они больше не могут быть независимыми случайными величинами. То есть знание того, что выборка является EPSEM, означает, что она поддерживает маргинально равную вероятность отбора, но не сообщает нам об общей вероятности отбора. Для чего-то вроде пост-стратификации количество элементов в каждой страте можно смоделировать как полиномиальное распределение с разными $p_{h}$ вероятности включения для каждого элемента, принадлежащего некоторому страту $h$. В этих случаях сам размер выборки может быть случайной величиной.
2. на основе модели — в этом случае выборка фиксирована, веса фиксированы, но интересующий результат рассматривается как случайная величина. Например, в случае постстратификации результат можно смоделировать как некоторую функцию линейной регрессии , где независимыми переменными являются переменные-индикаторы, сопоставляющие каждое наблюдение с соответствующим слоем, а изменчивость сопровождается ошибкой.

Как мы увидим позже, некоторые доказательства в литературе опираются на структуру, основанную на рандомизации, в то время как другие сосредоточены на модели, основанной на перспективе. При переходе от среднего к взвешенному среднему добавляется больше сложности. Например, в контексте методологии опроса часто сама численность населения считается неизвестной величиной, которая оценивается. Таким образом, расчет средневзвешенного значения фактически основан на оценке отношения с оценкой общей суммы в числителе и оценкой численности населения в знаменателе (что делает расчет дисперсии более сложным).

Распространенные типы гирь

Таблица 4. Сводка распространенных типов весов, используемых при расчете эффекта дизайна

Тип веса	Описание	Интерпретация
Частотные веса	Каждый вес представляет собой целое число, указывающее абсолютную частоту появления элемента в выборке.	Конкретная ценность имеет абсолютное значение; веса представляют количество информации в наборе данных
Веса обратной дисперсии	Каждому элементу присваивается вес, обратный его известной дисперсии.	Когда все элементы имеют одинаковое математическое ожидание, использование таких весов для взвешенных средних имеет наименьшую дисперсию.
Нормализованные (выпуклые) веса	Веса образуют выпуклую комбинацию (сумма равна 1); может быть нормализовано до суммы размера выборки (n)	Веса, сумма которых равна n, имеют относительную интерпретацию: элементы с весами > 1 более «редки», чем в среднем, и оказывают большее влияние (скажем) на среднее значение, в то время как веса < 1 являются более «распространенными» и менее влиятельными.
Веса обратной вероятности	Каждому элементу присваивается вес, пропорциональный обратной вероятности его выбора.	Веса показывают, сколько элементов каждый элемент «представляет» в целевой совокупности; сумма весов равна размеру целевой совокупности

Существует множество типов (и подтипов) весов с разными способами их использования и интерпретации. Для некоторых весов их абсолютное значение имеет важное значение, тогда как для других весов важной частью являются относительные значения весов друг к другу. В этом разделе представлены некоторые из наиболее распространенных типов весов, чтобы на них можно было ссылаться в последующих разделах.

• Частотные веса являются базовым типом взвешивания, представленным на вводных курсах по статистике. При этом каждый вес представляет собой целое число, которое указывает абсолютную частоту элемента в выборке. Их также иногда называют весами повторения (или вхождения). Конкретное значение имеет абсолютное значение, которое теряется при преобразовании весов, например при масштабировании . Например: если у нас есть числа 10 и 20 со значениями частотных весов 2 и 3, то при «размазывании» наших данных это будут: 10,10, 20, 20, 20 (с весами 1 каждому из этих элементов). ). Веса частоты включают в себя объем информации, содержащейся в наборе данных, и, таким образом, позволяют создавать взвешенной дисперсии несмещенную оценку с использованием поправки Бесселя . Обратите внимание, что такие веса часто являются случайными переменными , поскольку конкретное количество элементов, которые мы увидим для каждого значения в наборе данных, является случайным.
• взвешивание обратной дисперсии , также известное как аналитические веса , это когда каждому элементу присваивается вес, обратный его (известной) дисперсии. Когда все элементы имеют одинаковое математическое ожидание, использование таких весов для расчета средневзвешенных значений имеет наименьшую дисперсию среди всех средневзвешенных значений. В общей формулировке эти веса известны и не случайны.
• Нормализованные (выпуклые) веса — это набор весов, образующих выпуклую комбинацию , т. е. каждый вес представляет собой число от 0 до 1, а сумма всех весов равна 1. Любой набор (неотрицательных) весов можно превратить на нормализованные веса путем деления каждого веса на сумму всех весов, в результате чего эти веса нормализуются до суммы, равной 1.

Родственная форма — это веса, нормализованные по сумме с размером выборки (n) . Сумма этих (неотрицательных) весов равна размеру выборки (n), а их среднее значение равно 1. Любой набор весов можно нормализовать по размеру выборки, разделив каждый вес на среднее значение всех весов. Эти веса имеют хорошую относительную интерпретацию: элементы с весами больше 1 более «влиятельны» (с точки зрения их относительного влияния, скажем, на средневзвешенное значение), чем среднее наблюдение, тогда как веса меньше 1 менее «влиятельны», чем среднее наблюдение.

• Взвешивание обратной вероятности , или просто веса вероятности , это когда каждому элементу присваивается вес, который (пропорционален) обратной вероятности выбора этого элемента. Например, с помощью $w_{i}={\frac {1}{p_{i}}}$. С помощью весов обратной вероятности мы узнаем, сколько элементов каждый элемент «представляет» в целевой совокупности. Следовательно, сумма таких весов возвращает размер интересующей целевой совокупности. Веса обратной вероятности можно нормализовать до суммы 1 или нормализовать до суммы размера выборки (n), и многие расчеты из следующих разделов дадут одни и те же результаты.

Когда выборка представляет собой EPSEM , все вероятности равны, и обратная вероятность выбора дает веса, которые все равны друг другу (все они равны ${\frac {N}{n}}={\frac {1}{f}}$, где $n$ размер выборки и $N$ это численность населения). Такая выборка называется самовзвешивающейся выборкой .

Существуют также косвенные способы применения «взвешенных» корректировок. Например, существующие случаи могут быть продублированы для условных отсутствующих наблюдений (например, из-за отсутствия ответов), при этом дисперсия оценивается с использованием таких методов, как множественное вменение . Альтернативный подход — удалить (присвоить вес 0) некоторым случаям. Например, при желании уменьшить влияние групп с избыточной выборкой, которые менее важны для некоторого анализа. Оба случая по своей природе аналогичны взвешиванию обратной вероятности, но на практике приложение дает больше/меньше строк данных (что потенциально упрощает использование входных данных в некоторых программных реализациях) вместо применения дополнительного столбца весов. Тем не менее, последствия таких реализаций аналогичны простому использованию весов. Таким образом, хотя в случае удаления наблюдений данные могут быть легко обработаны обычными программными реализациями, случай добавления строк требует специальных корректировок оценок неопределенности. Невыполнение этого требования может привести к ошибочным выводам (т.е. никакого бесплатного обеда при использовании альтернативного представления основных проблем).

Термин «случайные веса», придуманный Кишем, используется для обозначения весов, которые соответствуют неравным вероятностям выбора , но не связаны с ожиданием или дисперсией выбранных элементов.

Случайные веса с расчетным средним отношением ( ${\hat {\bar {Y}}}$) - Эффект дизайна Киша

Формула

При взятии неограниченной выборки $n$ элементы, мы можем затем случайным образом разделить эти элементы на $H$ непересекающиеся слои, каждый из которых содержит некоторый размер $n_{h}$ элементы так, чтобы $\sum \limits _{h=1}^{H}n_{h}=n$. Все элементы в каждом слое $h$ им присвоен некоторый (известный) неотрицательный вес ( $w_{h}$). Вес $w_{h}$ может быть получен путем обратной некоторой неравной вероятности выбора для элементов в каждом слое $h$ (т.е. взвешивание обратной вероятности с помощью такой процедуры, как постстратификация). В этой ситуации эффект плана Киша для увеличения дисперсии выборочного средневзвешенного значения из-за этого плана (отраженного в весах) по сравнению с SRS некоторой выходной переменной y (когда нет корреляции между весами и результатом, т.е. случайные веса):

${\text{Deff}}={\frac {n\sum \limits _{h=1}^{H}(n_{h}w_{h}^{2})}{(\sum \limits _{h=1}^{H}n_{h}w_{h})^{2}}}$

Рассматривая каждый элемент как принадлежащий отдельному слою $\forall h:n_{h}=1$Киш (в 1992 г.) упростил приведенную выше формулу до (известной) следующей версии:

${\text{Deff}}={\frac {n\sum _{i=1}^{n}w_{i}^{2}}{(\sum _{i=1}^{n}w_{i})^{2}}}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{2}}{\left({\frac {1}{n}}\sum _{i=1}^{n}w_{i}\right)^{2}}}={\frac {\overline {w^{2}}}{{\overline {w}}^{2}}}$

Эта версия формулы действительна, когда из одной страты взято несколько наблюдений (т. е. каждое имеет одинаковый вес) или когда стратов много, и из каждой из них взято одно наблюдение, но несколько из них имеют одинаковый вес. вероятность выбора. Хотя интерпретация немного различается, расчет обоих сценариев оказывается одинаковым.

При использовании эффекта схемы Киша для неравных весов вы можете использовать следующую упрощенную формулу для « . Эффективного размера выборки Киша»

$n_{\text{eff}}={\frac {(\sum _{i=1}^{n}w_{i})^{2}}{\sum _{i=1}^{n}w_{i}^{2}}}$

показывать

[Доказательство]

$n_{\text{eff}}={\frac {n}{\text{Deff}}}={\frac {n}{\frac {n\sum _{i=1}^{n}w_{i}^{2}}{(\sum _{i=1}^{n}w_{i})^{2}}}}={\frac {(\sum _{i=1}^{n}w_{i})^{2}}{\sum _{i=1}^{n}w_{i}^{2}}}$

Предположения и доказательства

Приведенная выше формула Киша дает увеличение дисперсии средневзвешенного значения на основе «случайных» весов . Это также можно записать в виде следующей формулы, где y — наблюдения, выбранные с использованием неравных вероятностей отбора (без внутрикластерной корреляции и без связи с ожиданием или дисперсией измерения результата), и y' — это наблюдения, которые мы получили бы, если бы получили их из простой случайной выборки :

${\text{Deff}}_{\text{Kish}}={\frac {{\text{var}}\left({\bar {y}}_{w}\right)}{{\text{var}}\left({\bar {y}}'\right)}}={\frac {{\text{var}}\left({\frac {\sum \limits _{i=1}^{n}w_{i}y_{i}}{\sum \limits _{i=1}^{n}w_{i}}}\right)}{{\text{var}}\left({\frac {\sum \limits _{i=1}^{n}y_{i}'}{n}}\right)}}$

Можно показать, что формулу отношения дисперсий можно свести к формуле Киша, используя перспективу, основанную на модели . В нем формула Киша будет справедлива, когда все n наблюдений ( $y_{1},...,y_{n}$) (по крайней мере приблизительно) некоррелированы ( $\forall (i\neq j):{\text{cor}}(y_{i},y_{j})=0$), с той же дисперсией ( $\sigma ^{2}$) в интересующей переменной ответа (y). Также необходимо будет предположить, что сами веса являются не случайной величиной , а скорее некоторыми известными константами (например, обратной вероятностью отбора для некоторого заранее определенного и известного плана выборки ).

показывать

[Доказательство]

The following is a simplified proof for when there are no clusters (i.e., no Intraclass correlation between element of the sample) and each stratum includes only one observation:

${\begin{aligned}{\text{var}}\left({\bar {y}}_{w}\right)&{\stackrel {1}{=}}{\text{var}}\left({\frac {\sum \limits _{i=1}^{n}w_{i}y_{i}}{\sum \limits _{i=1}^{n}w_{i}}}\right){\stackrel {2}{=}}{\text{var}}\left(\sum \limits _{i=1}^{n}w_{i}'y_{i}\right){\stackrel {3}{=}}\sum \limits _{i=1}^{n}{\text{var}}\left(w_{i}'y_{i}\right)\\&{\stackrel {4}{=}}\sum \limits _{i=1}^{n}w_{i}'^{2}{\text{var}}\left(y_{i}\right){\stackrel {5}{=}}\sum \limits _{i=1}^{n}w_{i}'^{2}\sigma ^{2}{\stackrel {6}{=}}{\frac {\sigma ^{2}}{n}}{\frac {n\sum \limits _{i=1}^{n}w_{i}^{2}}{\left(\sum \limits _{i=1}^{n}w_{i}\right)^{2}}}{\stackrel {7}{=}}{\text{var}}\left({\bar {y}}'\right)D_{eff(kish)}\\&\implies D_{eff(kish)}={\frac {{\text{var}}\left({\bar {y}}_{w}\right)}{{\text{var}}\left({\bar {y}}'\right)}}\end{aligned}}$

Transitions:

1. from definition of the weighted mean.
2. using normalized (convex) weights definition (weights that sum to 1): $w_{i}'={\frac {w_{i}}{\sum \limits _{i=1}^{n}w_{i}}}$.
3. sum of uncorrelated random variables.
4. If the weights are constants (from the basic properties of the variance). Another way to say it is that the weights are known upfront for each observation i. Namely that we are actually calculating ${\text{var}}\left({\bar {y}}_{w}|w\right)$
5. when all observations have the same variance ($\sigma ^{2}$).
6. Some algebra: Moving $\sigma ^{2}$ to the left, adding a multiplication term of ${\frac {n}{n}}$, and opening $w_{i}'$ back.
7. Back to the definitions.

Условия для y тривиально выполняются, если наблюдения y являются IID с одинаковыми математическим ожиданием и дисперсией . В таких случаях $y=y'$, и мы можем оценить $var\left({\bar {y}}_{w}\right)$ используя ${\overline {{\text{var}}\left({\bar {y}}_{w}\right)}}={\overline {{\text{var}}\left({\bar {y}}\right)}}\times {\text{Deff}}$. Если не все значения y имеют одинаковые ожидания, мы не можем использовать предполагаемую дисперсию для расчета, поскольку эта оценка предполагает, что все $y_{i}$у нас одинаковые ожидания. В частности, если существует корреляция между весами и выходной переменной y, то это означает, что ожидание y не одинаково для всех наблюдений (а, скорее, зависит от конкретного значения веса для каждого наблюдения). В таком случае, хотя формула эффекта дизайна может быть верной (если соблюдаются другие условия), для нее потребуется другая оценка дисперсии средневзвешенного значения. Например, возможно, лучше использовать оценщик взвешенной дисперсии .

Если другое $y_{i}$Значения s имеют разные дисперсии, тогда, хотя взвешенная дисперсия может отражать правильную дисперсию на уровне совокупности, формула Киша для эффекта дизайна может больше не быть верной.

Аналогичная проблема возникает, если в выборках присутствует некоторая корреляционная структура (например, при использовании кластерной выборки ).

Отношение к коэффициенту вариации

Обратите внимание, что определение эффекта дизайна, данное Кишем, тесно связано с коэффициентом вариации (Киш также называет его ревариантностью или relvar) . для краткости ) весов (при использовании нескорректированного (на уровне генеральной совокупности) стандартного отклонения выборки для оценки ). В литературе это имеет несколько обозначений:

${\text{Deff}}=1+L=1+{C_{V}}^{2}=1+{\text{relvar}}(w)=1+{\frac {V(w)}{{\bar {w}}^{2}}}$.

Где $V(w)={\frac {\sum (w_{i}-{\bar {w}})^{2}}{n}}$ это популяционная дисперсия $w$, и ${\bar {w}}={\frac {\sum w_{i}}{n}}$ это среднее значение. Когда веса нормализованы к размеру выборки (так что их сумма равна n, а среднее значение равно 1), тогда ${C_{V}}^{2}=V(w)$ и формула сводится к ${\text{Deff}}=1+V(w)$. Хотя мы действительно предполагаем, что веса фиксированы, мы можем думать об их дисперсии как о дисперсии эмпирического распределения, определяемого путем выборки (с равной вероятностью) одного веса из нашего набора весов (аналогично тому, как мы думаем о корреляции x и y в простой линейной регрессии ).

показывать

[Доказательство]

${C_{V}}^{2}=\left({\frac {s_{w}}{\bar {w}}}\right)^{2}={\frac {\frac {\sum _{i=1}^{n}(w_{i}-{\bar {w}})^{2}}{n}}{{\bar {w}}^{2}}}={\frac {\frac {\sum _{i=1}^{n}{w_{i}}^{2}-n{\bar {w}}^{2}}{n}}{{\bar {w}}^{2}}}={\frac {{\overline {w}}^{2}-{\bar {w}}^{2}}{{\bar {w}}^{2}}}={\frac {{\overline {w}}^{2}}{{\bar {w}}^{2}}}-1={\text{Deff}}-1\implies {\text{Deff}}=1+{C_{V}}^{2}$

Отношение к непропорциональной стратифицированной выборке

Первоначальное определение Киша сравнивало дисперсию при определенной схеме выборки с дисперсией, полученной с помощью простой случайной выборки . В некоторой литературе дается следующее альтернативное определение эффекта схемы Киша: «отношение дисперсии взвешенного среднего значения обследования при непропорциональной стратифицированной выборке к дисперсии при пропорциональной стратифицированной выборке, когда все дисперсии единиц страты равны». Размышляя об этом, Парк и Ли (2006) заявили, что «обоснование вывода [...] [Киша] заключается в том, что потеря точности [среднего взвешенного значения] из-за случайного неравного взвешивания может быть аппроксимирована соотношением дисперсия при непропорциональной стратифицированной выборке по сравнению с дисперсией при пропорциональной стратифицированной выборке».

Обратите внимание, что это альтернативное определение является лишь приблизительным, поскольку если знаменатель основан на «пропорциональной стратифицированной выборке» (достигаемой с помощью стратифицированной выборки ), то такой выбор приведет к уменьшению дисперсии по сравнению с простой случайной выборкой . Это связано с тем, что стратифицированная выборка устраняет некоторую изменчивость конкретного количества элементов на страту, как это происходит при SRS.

Кроме того, Кочран (1977) предлагает формулу пропорционального увеличения дисперсии из-за отклонения от оптимального распределения (то, что в формулах Киша будет называться L ).

Альтернативные соглашения об именах

В ранних работах использовался термин ${\text{Deff}}$. По мере появления новых определений эффекта дизайна, эффект дизайна Киша для неравных вероятностей выбора был обозначен как ${\text{Deff}}_{\text{Kish}}$ (или ${\text{Deft}}_{\text{Kish}}^{2}$) или просто ${\text{Deff}}_{K}$ короче. Эффект дизайна Киша также известен как «Эффект неравного взвешивания» (или просто UWE), названный Лю и др. в 2002 году.

Когда результат коррелирует с вероятностями выбора

Спенсера Deff для расчетной суммы ( ${\hat {Y}}$)

Оценщиком итога является оценщик «p-расширенный с заменой» (он же: pwr-оценщик или оценщик Хансена и Гурвица ). Он основан на простой случайной выборке (с заменой, обозначаемой SIR ) из n элементов ( $y_{k}$) из популяции размером N. Каждый элемент имеет вероятность $p_{k}$ (k от 1 до N), которые должны быть разыграны за один розыгрыш ( $\sum _{U}p_{k}=1$, т. е. это полиномиальное распределение ). Вероятность того, что конкретный $y_{k}$ появится в образце $p_{k}$. Значение «p-расширенное с заменой» равно $Z_{i}={\frac {y_{k}}{p_{k}}}$ со следующим ожиданием: $E[Z_{i}]=E[I_{i}{\frac {y_{k}}{p_{k}}}]={\frac {y_{k}}{p_{k}}}E[I_{i}]={\frac {y_{k}}{p_{k}}}p_{k}=y_{k}$. Следовательно ${\hat {Y}}_{pwr}={\frac {1}{n}}\sum _{i}^{n}Z_{i}$, pwr-оценщик, является несмещенным оценщиком суммы y.

В 2000 году Брюс Д. Спенсер предложил формулу для оценки эффекта плана для дисперсии оценки общего ( а не среднего) некоторого количества ( ${\hat {Y}}$), когда существует корреляция между вероятностями выбора элементов и интересующей переменной результата.

В этой схеме выборка размера n формируется (с заменой) из совокупности N. размера Каждый предмет нарисован с вероятностью $P_{i}$ (где $\sum _{i=1}^{N}P_{i}=1$, т.е. полиномиальное распределение ). Вероятности выбора используются для определения нормализованных (выпуклых) весов : $w_{i}={\frac {1}{nP_{i}}}$. Обратите внимание, что для некоторого случайного набора из n элементов сумма весов будет равна 1 только по математическому ожиданию ( $E[w_{i}]=1$) с некоторой изменчивостью суммы вокруг него (т. е. суммы элементов биномиального распределения Пуассона ). Отношения между $y_{i}$ и $P_{i}$ определяется следующей (популяционной) простой линейной регрессией :

$y_{i}=\alpha +\beta P_{i}+\epsilon _{i}$

Где $y_{i}$ — это результат элемента i , который линейно зависит от $P_{i}$ с перехватом $\alpha$ и наклон $\beta$. Остаток от подобранной линии равен $\epsilon _{i}=y_{i}-(\alpha +\beta P_{i})$. Мы также можем определить генеральную дисперсию результата и остатков как $\sigma _{y}^{2}$ и $\sigma _{\epsilon }^{2}$. Корреляция между $P_{i}$ и $y_{i}$ является $\rho _{y,P}$.

Эффект плана Спенсера (приблизительный) для оценки общего значения y составляет:

${\text{Deff}}_{Spencer}=(1-{\hat {\rho }}_{y,P}^{2})(1+L)+\left({\frac {\hat {\alpha }}{{\hat {\sigma }}_{y}}}\right)^{2}L$

Где:

• ${\hat {\rho }}_{y,P}^{2}$ оценки $\rho _{y,P}^{2}$
• ${\hat {\alpha }}$ оценивает наклон $\alpha$
• ${\hat {\sigma }}_{y}$ оценивает дисперсию генеральной совокупности $\sigma _{y}$, и
• L — относительность весов, определенная в формуле Киша : $L=cv_{w}^{2}={\text{relvar}}(w)={\frac {V(w)}{{\bar {w}}^{2}}}$.

Это предполагает, что модель регрессии хорошо подходит, так что вероятность выбора и остатки независимы , поскольку это приводит к тому, что остатки и квадратичные остатки не коррелируют с весами, т. е. что $\rho _{\epsilon ,W}=0$ а также $\rho _{\epsilon ^{2},W}=0$.

Когда размер популяции (N) очень велик, формулу можно записать как:

${\text{Deff}}_{Spencer}=(1-{\hat {\rho }}_{y,P}^{2})(1+cv_{w}^{2})+\left({\frac {1}{cv_{Y}^{2}}}\right)^{2}cv_{w}^{2}$

(с $\alpha ={\bar {Y}}-\beta \times {\bar {P}}={\bar {Y}}-\beta \times {\frac {1}{N}}\approx {\bar {Y}}$, где $cv_{Y}^{2}={\frac {\sigma _{Y}^{2}}{{\bar {Y}}^{2}}}$)

сохраняется линейная связь Это приближение предполагает, что между P и y . А также, что корреляция весов с ошибками и квадраты ошибок равны нулю. Т.е., $\rho _{w,e}=0$ и $\rho _{w,e^{2}}=0$.

Мы замечаем, что если ${\hat {\rho }}_{y,P}\approx 0$, затем ${\hat {\alpha }}\approx {\bar {y}}$ (т.е. среднее значение y ). В таком случае формула сводится к

${\text{Deff}}_{Spencer}=(1+L)+\left({\frac {1}{{\text{relvar}}(y)}}\right)^{2}L$

Только если дисперсия y намного больше его среднего значения, тогда самый правый член близок к 0 (т. е. ${\frac {1}{{\text{relvar}}(y)}}={\frac {\bar {Y}}{\sigma _{y}}}\approx 0$), что уменьшает эффект схемы Спенсера (для расчетной суммы) до уровня эффекта схемы Киша (для отношения означает): ${\text{Deff}}_{Spencer}\approx (1+L)={\text{Deff}}_{\text{Kish}}$. В противном случае две формулы дадут разные результаты, что демонстрирует разницу между эффектом расчета итогового значения и эффектом расчета среднего значения.

Пак и Ли ${\text{Deff}}$ для расчетного отношения-среднего ( ${\hat {\bar {Y}}}$)

В 2001 году Парк и Ли распространили формулу Спенсера на случай среднего отношения (т. е. оценки среднего путем деления оценки общего числа на оценку размера популяции). Это:

${\text{Deff}}_{Park\&Lee}=(1-{\hat {\rho }}_{y,P}^{2})(1+cv_{w}^{2})+{\frac {{\hat {\rho }}_{y,P}^{2}}{cv_{P}^{2}}}cv_{w}^{2}$

Где:

• $cv_{P}^{2}$ (расчетный) квадрат коэффициента вариации вероятностей выбора.

Формула Пака и Ли в точности равна формуле Киша, когда ${\hat {\rho }}_{y,P}^{2}=0$. Обе формулы относятся к эффекту расчета среднего значения y , тогда как формула Спенсера ${\text{Deff}}$ относится к оценке общей численности населения.

В целом, ${\text{Deff}}$ на общую сумму ( ${\hat {Y}}$) имеет тенденцию быть менее эффективным, чем ${\text{Deff}}$ для отношения среднее ( ${\hat {\bar {Y}}}$) когда $\rho _{y,P}$ мал. И вообще, $\rho _{y,P}$ влияет на эффективность обоих эффектов дизайна.

Кластерная выборка

Для данных, собранных с использованием кластерной выборки, мы предполагаем следующую структуру:

• $n_{k}$ наблюдений в каждом кластере и K кластерах, а всего $n=\sum n_{k}$ наблюдения.
• Наблюдения имеют блочную диагональную корреляционную матрицу, в которой каждая пара наблюдений из одного и того же кластера коррелирует с внутриклассовой корреляцией $\rho$, в то время как каждая пара из разностных кластеров некоррелирована. Т.е. для каждой пары наблюдений $i$ и $j$, если они принадлежат одному кластеру $k$, мы получаем $cov(y_{i},y_{j})=\rho \sigma ^{2}$. И два элемента из двух разных кластеров не коррелируют, т.е.: $cov(y_{i},y_{j})=0$.
• Предполагается, что элемент из любого кластера имеет одинаковую дисперсию: ${\text{var}}(y_{i})=\sigma _{h}^{2}=\sigma ^{2}$.

Когда все кластеры имеют одинаковый размер $n^{*}$, эффект дизайна D _eff , предложенный Кишем в 1965 году (и позже повторно рассмотренный другими), определяется формулой:

${\text{Deff}}=1+(n^{*}-1)\rho .$

Иногда его еще называют ${\text{Deff}}_{C}$.

В различных работах, когда размеры кластеров не равны, приведенная выше формула используется также с $n^{*}$ как средний размер кластера (который также иногда обозначается как ${\bar {b}}$). В таких случаях формула Киша (использующая средний вес кластера) служит консервативной (верхней границей) точного эффекта дизайна.

Существуют альтернативные формулы для кластеров неравных размеров. В последующей работе обсуждалась чувствительность использования среднего размера кластера с различными предположениями.

Эффект дизайна для сложных конструкций

Неравные вероятности выбора $\times$ Кластерная выборка

В статье 1987 года Киш предложил комбинированный эффект схемы, который включает в себя как эффекты взвешивания, учитывающего неравные вероятности выбора, так и кластерную выборку:

${\text{Deff}}_{\text{Kish}}={\frac {n\sum \limits _{h=1}^{H}(n_{h}w_{h}^{2})}{\left(\sum \limits _{h=1}^{H}n_{h}w_{h}\right)^{2}}}\left(1+(n^{*}-1)\rho \right)={\text{Deff}}_{k}\times {\text{Deff}}_{C}$

Выше используются обозначения, аналогичные тем, которые используются в этой статье (в исходной публикации 1987 года использовались другие обозначения). Обоснование этой формулы на основе модели было предоставлено Gabler et al.

Стратифицированная выборка $\times$ неравные вероятности выбора $\times$ Кластерная выборка

В 2000 году Лю и Арагон предложили разложение эффекта дизайна неравных вероятностей выбора для разных слоев в стратифицированной выборке. В 2002 году Лю и др. расширил эту работу, чтобы учесть стратифицированные выборки, где внутри каждой страты есть набор неравных весов вероятности выбора. Кластерная выборка является либо глобальной, либо послойной. Аналогичную работу провели Park et al. в 2003 году.

Чен-Руст ${\text{Deff}}$: Эффекты расчета для двух- и трехэтапных планов со стратификацией.

Чен-Руст ${\text{Deff}}$ расширяет основанное на модели обоснование формулы Киша 1987 года для эффектов дизайна, предложенной Габлером, эл. ал., применяя его к двухэтапным планам со стратификацией на первом этапе и к трехэтапным планам без стратификации. Модифицированные формулы определяют общий эффект схемы с использованием весов опроса и внутрикластерных корреляций населения. Эти формулы позволяют провести содержательную интерпретацию эффектов схемы из различных источников и оценить внутрикластерные корреляции в завершенных опросах или спрогнозировать эффекты схемы в будущих исследованиях.

Генри ${\text{Deff}}$: мера расчетного эффекта для калибровочного взвешивания одноэтапных проб.

Генри ${\text{Deff}}$ предлагает расширенную меру расчетного эффекта взвешивания с помощью модели для одноэтапной выборки и корректировки калибровочного веса для случая, когда $y_{i}=\alpha +\beta x_{i}+\epsilon _{i}$, где $x_{i}$ представляет собой вектор ковариат, ошибки модели независимы, а оценщиком общей численности населения является оценщик общей регрессии (GREG) Сярндаля, Свенсона и Ретмана (1992). Новая мера учитывает совокупное влияние дизайна выборки без использования epsem, неравных весов от корректировок калибровки и корреляции между анализируемой переменной и вспомогательными веществами, используемыми при калибровке.

Лора ${\text{Deff}}$: эффект дизайна для наклона регрессии в кластерной выборке.

Лора ${\text{Deff}}$ предназначен для оценок обычных наименьших квадратов (OLS) и обобщенных наименьших квадратов (GLS) в контексте кластерной выборки с использованием модели регрессии случайных коэффициентов. Лор представляет условия, при которых GLS-оценка наклона регрессии имеет расчетный эффект менее 1, что указывает на более высокую эффективность. Однако эффект конструкции средства оценки GLS очень чувствителен к спецификации модели. Если лежащая в основе модель случайных коэффициентов неправильно указана как модель случайного пересечения, эффект проектирования может быть серьезно занижен. Напротив, OLS-оценщик наклона регрессии и эффект проектирования, рассчитанный с точки зрения проектирования, устойчивы к неправильной спецификации структуры отклонений, что делает их более надежными в ситуациях, когда спецификация модели может быть неточной.

Использование

$Deff$ может использоваться при планировании будущего сбора данных, а также в качестве диагностического инструмента:

• При планировании будущего сбора данных - $Deff$ может быть использован для оценки эффективности выборки. Например, если существует потенциально «слишком большое» увеличение дисперсии из-за какого-либо решения по планированию выборки или если какой-то альтернативный (экономически осуществимый) план окажется более эффективным. Это также влияет на размер выборки (в целом, по страте, по кластеру и т. д.). При планировании размера выборки можно провести работу по корректировке эффекта схемы, чтобы отделить эффект интервьюера (ошибку измерения) от влияния схемы выборки на дисперсию выборки.
• В качестве диагностического инструмента - $Deff$ может помочь в оценке потенциальных проблем с помощью апостериорного анализа взвешивания (например, с учетом корректировок на неполучение ответов). Например, если $Deff$ значение особенно велико, то это может указывать на проблему со схемой выборки или взвешивания. Это также может помочь при выполнении некоторых манипуляций с весами (например, обрезке весов); эффект схемы можно использовать для оценки влияния манипуляций на эффективный размер выборки. А также в выявлении явных проблем с данными или их анализом (например, от ошибок до наличия выбросов ). Хотя в некоторой литературе предполагается, что $Deff>1.5$ вероятно, потребует некоторого внимания, не существует универсального эмпирического правила, согласно которому значение эффекта дизайна является «слишком высоким». Практические соображения $Deff$ значения часто зависят от контекста.

Учет эффекта дизайна не является необходимым, когда исходная совокупность близка к IID или когда структура выборки данных была составлена ​​как простая случайная выборка . Это также менее полезно, когда размер выборки относительно мал (по крайней мере частично, по практическим соображениям).

Хотя изначально Киш надеялся, что эффект схемы будет как можно более независимым от основного распределения данных, вероятностей выборки, их корреляций и интересующей статистики, последующие исследования показали, что это действительно влияет на эффект схемы. Следовательно, эти свойства следует тщательно учитывать при принятии решения о том, какой именно $Deff$ расчет, который нужно использовать, и как его использовать.

Эффект дизайна редко применяется при построении доверительных интервалов. В идеале для средства оценки конкретного параметра можно было бы определить как дисперсию в рамках простой случайной выборки (SRS) с замещением, так и эффект схемы (который учитывает все элементы схемы выборки, которые изменяют дисперсию). В таких сценариях базовое отклонение и эффект плана можно было бы умножить, чтобы вычислить отклонение оценщика для конкретного плана. Это вычисленное значение затем можно использовать для формирования доверительных интервалов. Однако в реальных приложениях оба значения одновременно оцениваются редко. В результате предпочтение отдается другим методам. Например, линеаризация Тейлора используется для построения доверительных интервалов на основе дисперсии взвешенного среднего . В более широком смысле метод начальной загрузки, также известный как веса репликации , применяется для ряда взвешенных статистических данных.

Реализации программного обеспечения

Эффект дизайна Киша реализован в различных пакетах статистического программного обеспечения:

• R: обзор опроса из пакета опросов . Он также реализован в других пакетах R (например, pewmethods, и samplesize4surveys ).
• Python: design_effect из пакета баланса .
• SAS: Использование Proc Surveymeans.
• Стата: использование команды пост-оценки estat после команды svy:mean.

• Судан.
• WESVAR: вычисляет эффект конструкции Киша с заменой (SRSWR), т.е. $Deft$.

Ссылки

Эта статья была отправлена ​​в WikiJournal of Science на внешнюю академическую рецензию в 2023 году ( отчеты рецензента ). Обновленный контент был реинтегрирован на страницу Википедии по лицензии CC-BY-SA-3.0 ( 2024 г. ). Проверенная версия записи: В Галилее; и др. (5 мая 2024 г.). «Эффект дизайна» . Викижурнал науки . 7 (1): 4. doi : 10.15347/WJS/2024.004 . ISSN   2470-6345 . Викиданные   Q116768211 .