Взвешенное арифметическое среднее

«Средневзвешенное» перенаправляет здесь. Не путать с взвешенным средним средним , взвешенным средним геометрическим или взвешенным гармоническим средним .

аналогично Среднее значение взвешенного арифметики обычному среднему арифметике (наиболее распространенный тип среднего ), за исключением того, что вместо каждой из точек данных вносятся в равной степени окончательное среднее, некоторые точки данных вносят больше, чем другие. Понятие среднего значения играет роль в описательной статистике , а также происходит в более общей форме в нескольких других областях математики.

Если все веса равны, то среднее значение, среднее, то же самое, что и среднее арифметику . В то время как взвешенные средства, как правило, ведут себя аналогично арифметическим средствам, они обладают несколькими противоречивыми свойствами, как захватываемые, например, в парадоксе Симпсона .

Примеры

Основной пример

Учитывая два школьных класса   -   один с 20 учениками, один с 30 учениками   -   и тестируют оценки в каждом классе следующим образом:

Утренний класс = {62, 67, 71, 74, 76, 77, 78, 79, 79, 80, 80, 81, 81, 82, 83, 84, 86, 89, 93, 98}

Дневной класс = {81, 82, 83, 84, 85, 86, 87, 87, 88, 88, 89, 89, 89, 90, 90, 90, 90, 91, 91, 91, 92, 92, 93, 93, 94, 95, 96, 97, 98, 99}

Среднее среднее для утреннего занятия составляет 80, а среднее значение дневного занятия составляет 90. Необеспеченное среднее значение двух средств - 85. Однако это не учитывает разницу в количестве учащихся в каждом классе (20 против 30); Следовательно, значение 85 не отражает среднюю оценку ученика (независимо от класса). Средняя оценка ученика может быть получена путем усреднения всех оценок, без учета классов (добавьте все оценки и разделение на общее количество студентов): $${\bar {x}}={\frac {4300}{50}}=86.$$

Или это может быть достигнуто путем взвешивания класса средних значений по количеству учащихся в каждом классе. Большой класс дается больше «вес»:

${\bar {x}}={\frac {(20\times 80)+(30\times 90)}{20+30}}=86.$

Таким образом, взвешенное среднее позволяет найти среднюю среднюю оценку ученика, не зная оценки каждого студента. Необходимы только класс и количество учащихся в каждом классе.

Пример выпуклого комбинации

Поскольку только относительные веса актуальны, любое взвешенное среднее значение может быть выражено с использованием коэффициентов, которые суммируют к одному. Такая линейная комбинация называется выпуклой комбинацией .

Используя предыдущий пример, мы получим следующие веса:

${\frac {20}{20+30}}=0.4$

${\frac {30}{20+30}}=0.6$

Затем примените веса так:

${\bar {x}}=(0.4\times 80)+(0.6\times 90)=86.$

Математическое определение

Формально, взвешенное среднее из непустого конечного кортежа данных $\left(x_{1},x_{2},\dots ,x_{n}\right)$В с соответствующими неотрицательными весами $\left(w_{1},w_{2},\dots ,w_{n}\right)$ является

${\bar {x}}={\frac {\sum \limits _{i=1}^{n}w_{i}x_{i}}{\sum \limits _{i=1}^{n}w_{i}}},$

который расширяется до:

${\bar {x}}={\frac {w_{1}x_{1}+w_{2}x_{2}+\cdots +w_{n}x_{n}}{w_{1}+w_{2}+\cdots +w_{n}}}.$

Следовательно, элементы данных с высоким весом вносят вклад в средние взвешенные, чем элементы с низким весом. Веса не могут быть отрицательными, чтобы уравнение работало Полем Некоторые могут быть нулевыми, но не все из них (поскольку разделение на ноль не разрешено).

Формулы упрощены, когда веса нормализуются таким образом, что они суммируют до 1, т.е. ${\textstyle \sum \limits _{i=1}^{n}{w_{i}'}=1}$Полем Для таких нормализованных весов среднее значение эквивалентно:

${\bar {x}}=\sum \limits _{i=1}^{n}{w_{i}'x_{i}}$.

Можно всегда нормализовать веса, сделав следующее преобразование в исходных весах:

$w_{i}'={\frac {w_{i}}{\sum \limits _{j=1}^{n}{w_{j}}}}$.

Обычное среднее ${\textstyle {\frac {1}{n}}\sum \limits _{i=1}^{n}{x_{i}}}$ это особый случай взвешенного среднего, где все данные имеют одинаковые веса.

Если элементы данных являются независимыми и одинаково распределены случайные переменные с дисперсией $\sigma ^{2}$, стандартная ошибка среднего звена , $\sigma _{\bar {x}}$, может быть показано через распространение неопределенности, чтобы быть:

${\textstyle \sigma _{\bar {x}}=\sigma {\sqrt {\sum \limits _{i=1}^{n}w_{i}'^{2}}}}$

Указанные дисперсии веса

Основная статья: взвешивание обратной варианты

Смотрите также: взвешенные наименьшие квадраты

Для среднего значения списка данных, для которых каждый элемент $x_{i}$ потенциально происходит из -за другого распределения вероятностей с известной дисперсией $\sigma _{i}^{2}$, все имеют одно и то же среднее, один из возможных выборов для весов определяется по взаимным дисперсии:

$w_{i}={\frac {1}{\sigma _{i}^{2}}}.$

Взвешенное среднее в этом случае:

${\bar {x}}={\frac {\sum _{i=1}^{n}\left({\dfrac {x_{i}}{\sigma _{i}^{2}}}\right)}{\sum _{i=1}^{n}{\dfrac {1}{\sigma _{i}^{2}}}}}={\frac {\sum _{i=1}^{n}\left(x_{i}\cdot w_{i}\right)}{\sum _{i=1}^{n}w_{i}}},$

и стандартная ошибка среднего значения (с весами обратной варианты) :

$\sigma _{\bar {x}}={\sqrt {\frac {1}{\sum _{i=1}^{n}\sigma _{i}^{-2}}}}={\sqrt {\frac {1}{\sum _{i=1}^{n}w_{i}}}},$

Обратите внимание на это уменьшается до $\sigma _{\bar {x}}^{2}=\sigma _{0}^{2}/n$ Когда все $\sigma _{i}=\sigma _{0}$Полем Это особый случай общей формулы в предыдущем разделе,

$\sigma _{\bar {x}}^{2}=\sum _{i=1}^{n}{w_{i}'^{2}\sigma _{i}^{2}}={\frac {\sum _{i=1}^{n}{\sigma _{i}^{-4}\sigma _{i}^{2}}}{\left(\sum _{i=1}^{n}\sigma _{i}^{-2}\right)^{2}}}.$

Приведенные выше уравнения могут быть объединены для получения:

${\bar {x}}=\sigma _{\bar {x}}^{2}\sum _{i=1}^{n}{\frac {x_{i}}{\sigma _{i}^{2}}}.$

Значение этого выбора заключается в том, что это среднее значение является максимальной оценкой вероятности среднего значения распределений вероятностей при предположении, что они независимы и обычно распределены с таким же средним средним.

Статистические свойства

Ожидаемая продолжительность

Среднее значение взвешенного образца, ${\bar {x}}$, сам по себе является случайной переменной. Его ожидаемое значение и стандартное отклонение связаны с ожидаемыми значениями и стандартными отклонениями наблюдений следующим образом. Для простоты мы предполагаем нормализованные веса (веса суммируют до одного).

Если наблюдения имеют ожидаемые значения $$E(x_{i})={\mu _{i}},$$ тогда среднее значение взвешенного образца имеет ожидание $$E({\bar {x}})=\sum _{i=1}^{n}{w_{i}'\mu _{i}}.$$ В частности, если средства равны, $\mu _{i}=\mu$, тогда ожидание среднего значения взвешенного образца будет таким значением, $$E({\bar {x}})=\mu .$$

Дисперсия

Простой случай IID

При обработке весов как константов и наличием образца N -наблюдений от некоррелированных случайных величин , все с одинаковой дисперсией и ожиданием (как и для случайных переменных IID ), то дисперсия среднего взвешенного невзвешенной дисперсии от эффекта дизайна Киша (см. Доказательство ):

$\operatorname {Var} ({\bar {y}}_{w})={\hat {\sigma }}_{y}^{2}{\frac {\overline {w^{2}}}{{\bar {w}}^{2}}}$

С ${\hat {\sigma }}_{y}^{2}={\frac {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}{n-1}}$, ${\bar {w}}={\frac {\sum _{i=1}^{n}w_{i}}{n}}$, и ${\overline {w^{2}}}={\frac {\sum _{i=1}^{n}w_{i}^{2}}{n}}$

Однако эта оценка довольно ограничена из -за сильного предположения о Y. наблюдениях Это привело к разработке альтернативных, более общих оценок.

Перспектива отбора проб

С точки зрения модели , мы заинтересованы в оценке дисперсии среднего значения, когда различные $y_{i}$ не являются случайными переменными IID . Альтернативной перспективой для этой проблемы является точка зрения некоторой произвольной конструкции выборки данных, в которых единицы выбираются с неравными вероятностями (с заменой).

В методологии обследования среднее значение популяции, в некотором количестве интересов Y , рассчитывается путем оценки общего количества Y по всем элементам в популяции ( Y или иногда T ) и делясь на ее численность - либо известный (либо известный ((либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный (либо известный $N$) или оцененный ( ${\hat {N}}$) В этом контексте каждое значение Y считается постоянным, а изменчивость исходит из процедуры отбора. Это в отличие от «модели» подходов, в которых случайность часто описывается в значениях Y. Процедура выборки опроса дает серию значений индикаторов Бернулли ( $I_{i}$) Это получает 1, если какое -то наблюдение I находится в образце и 0, если оно не было выбрано. Это может произойти с фиксированным размером выборки или различным отбором размера выборки (например, отбор проб Пуассона ). Вероятность выбора некоторого элемента, с учетом образца, обозначается как $P(I_{i}=1\mid {\text{Some sample of size }}n)=\pi _{i}$и вероятность выбора одного наброса $P(I_{i}=1|{\text{one sample draw}})=p_{i}\approx {\frac {\pi _{i}}{n}}$ (Если n очень большой и каждый $p_{i}$ очень маленький). Для следующего вывода мы предположим, что вероятность выбора каждого элемента полностью представлена ​​этими вероятностями. IE: выбор некоторых элементов не повлияет на вероятность рисования другого элемента (это не относится к таким вещам, как конструкция выборки кластера ).

Поскольку каждый элемент ( $y_{i}$) фиксирован, и случайность происходит из -за того, что он включен в выборку или нет ( $I_{i}$), мы часто говорим о умножении двух, что является случайной переменной. Чтобы избежать путаницы в следующем разделе, давайте назовем этот термин: $y'_{i}=y_{i}I_{i}$Полем Со следующей продолжительностью: $E[y'_{i}]=y_{i}E[I_{i}]=y_{i}\pi _{i}$; и дисперсия: $V[y'_{i}]=y_{i}^{2}V[I_{i}]=y_{i}^{2}\pi _{i}(1-\pi _{i})$.

Когда каждый элемент образца накачивается по обратной вероятности отбора, он называется $\pi$-Поседовал значения y , т.е.: ${\check {y}}_{i}={\frac {y_{i}}{\pi _{i}}}$Полем Связанное количество $p$-Поседать значения y : ${\frac {y_{i}}{p_{i}}}=n{\check {y}}_{i}$. Как указано выше, мы можем добавить отметку клещей при умножении на функцию индикатора. Т.е.: ${\check {y}}'_{i}=I_{i}{\check {y}}_{i}={\frac {I_{i}y_{i}}{\pi _{i}}}$

В этой конструктивной перспективе веса, используемые в числителе среднего значения, получают из -за обратной вероятности отбора (то есть: коэффициент инфляции). Т.е.: $w_{i}={\frac {1}{\pi _{i}}}\approx {\frac {1}{n\times p_{i}}}$.

Дисперсия взвешенной суммы ( Pwr -estimator для итоги)

Если размер населения n известен, мы можем оценить среднее население ${\hat {\bar {Y}}}_{{\text{known }}N}={\frac {{\hat {Y}}_{pwr}}{N}}\approx {\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{N}}$.

Если конструкция выборки является той, которая приводит к фиксированному размеру выборки N (например, в выборке PPS ), то дисперсия этой оценки составляет:

$\operatorname {Var} \left({\hat {\bar {Y}}}_{{\text{known }}N}\right)={\frac {1}{N^{2}}}{\frac {n}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}$

Доказательство

Общая формула может быть разработана так:

${\hat {\bar {Y}}}_{{\text{known }}N}={\frac {{\hat {Y}}_{pwr}}{N}}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}{\frac {y'_{i}}{p_{i}}}}{N}}\approx {\frac {\sum _{i=1}^{n}{\frac {y'_{i}}{\pi _{i}}}}{N}}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{N}}.$

Всего населения обозначено как $Y=\sum _{i=1}^{N}y_{i}$ и это может быть оценено (беспристрастным) оценщиком Хорвица -Томпсона , также называемого $\pi$-Симатор. Эта оценка может быть оценена с использованием PWR -ESTIMATOR (т.е. $p$-Поседован с оценкой замены, или «вероятность с заменой»). С приведенным выше нотацией это: ${\hat {Y}}_{pwr}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {y'_{i}}{p_{i}}}=\sum _{i=1}^{n}{\frac {y'_{i}}{np_{i}}}\approx \sum _{i=1}^{n}{\frac {y'_{i}}{\pi _{i}}}=\sum _{i=1}^{n}w_{i}y'_{i}$.

Предполагаемая дисперсия PWR -estimator дается: $$\operatorname {Var} ({\hat {Y}}_{pwr})={\frac {n}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}$$ где ${\overline {wy}}=\sum _{i=1}^{n}{\frac {w_{i}y_{i}}{n}}$.

Вышеупомянутая формула была взята из Sarndal et al. (1992) (также представлено в Cochran 1977), но был написан по -разному. Левая сторона - это то, как была написана дисперсия, а правая сторона - это то, как мы разработали взвешенную версию:

$${\begin{aligned}\operatorname {Var} ({\hat {Y}}_{\text{pwr}})&={\frac {1}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {y_{i}}{p_{i}}}-{\hat {Y}}_{pwr}\right)^{2}\\&={\frac {1}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {n}{n}}{\frac {y_{i}}{p_{i}}}-{\frac {n}{n}}\sum _{i=1}^{n}w_{i}y_{i}\right)^{2}={\frac {1}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left(n{\frac {y_{i}}{\pi _{i}}}-n{\frac {\sum _{i=1}^{n}w_{i}y_{i}}{n}}\right)^{2}\\&={\frac {n^{2}}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}\\&={\frac {n}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}\end{aligned}}$$

И мы добрались до формулы сверху.

Альтернативный термин, когда выборка имеет случайный размер выборки (как в пуассонской выборке ), представлен в Sarndal et al. (1992) как:

$$\operatorname {Var} ({\hat {\bar {Y}}}_{{\text{pwr (known }}N{\text{)}}})={\frac {1}{N^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\check {y}}_{i}{\check {y}}_{j}\right)$$

С ${\check {y}}_{i}={\frac {y_{i}}{\pi _{i}}}$Полем Также, $C(I_{i},I_{j})=\pi _{ij}-\pi _{i}\pi _{j}=\Delta _{ij}$ где $\pi _{ij}$ вероятность выбора I и J. И ${\check {\Delta }}_{ij}=1-{\frac {\pi _{i}\pi _{j}}{\pi _{ij}}}$, и для i = j: ${\check {\Delta }}_{ii}=1-{\frac {\pi _{i}\pi _{i}}{\pi _{i}}}=1-\pi _{i}$.

Если вероятность выбора некоррелирована (т.е. $\forall i\neq j:C(I_{i},I_{j})=0$), и при предположении вероятности каждого элемента очень мала, тогда:

$\operatorname {Var} ({\hat {\bar {Y}}}_{{\text{pwr (known }}N{\text{)}}})={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left(w_{i}y_{i}\right)^{2}$

Доказательство

Мы предполагаем, что $(1-\pi _{i})\approx 1$ и это $${\begin{aligned}\operatorname {Var} ({\hat {Y}}_{{\text{pwr (known }}N{\text{)}}})&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\check {y}}_{i}{\check {y}}_{j}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left({\check {\Delta }}_{ii}{\check {y}}_{i}{\check {y}}_{i}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left((1-\pi _{i}){\frac {y_{i}}{\pi _{i}}}{\frac {y_{i}}{\pi _{i}}}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left(w_{i}y_{i}\right)^{2}\end{aligned}}$$

Дисперсия среднего взвешенного ( π -усворитель для среднего соотношения)

Предыдущий раздел касался оценки среднего значения населения в качестве соотношения предполагаемой общей численности населения ( ${\hat {Y}}$) с известным размером населения ( $N$), и дисперсия была оценена в этом контексте. Другой распространенный случай заключается в том, что сам численность населения ( $N$) неизвестен и оценивается с использованием выборки (т.е. ${\hat {N}}$) Оценка $N$ может быть описано как сумма весов. Так когда $w_{i}={\frac {1}{\pi _{i}}}$ Мы получаем ${\hat {N}}=\sum _{i=1}^{n}w_{i}I_{i}=\sum _{i=1}^{n}{\frac {I_{i}}{\pi _{i}}}=\sum _{i=1}^{n}{\check {1}}'_{i}$Полем При вышеуказанной нотации параметр, о котором мы заботимся, - это отношение сумм $y_{i}$S и 1с. Т.е.: $R={\bar {Y}}={\frac {\sum _{i=1}^{N}{\frac {y_{i}}{\pi _{i}}}}{\sum _{i=1}^{N}{\frac {1}{\pi _{i}}}}}={\frac {\sum _{i=1}^{N}{\check {y}}_{i}}{\sum _{i=1}^{N}{\check {1}}_{i}}}={\frac {\sum _{i=1}^{N}w_{i}y_{i}}{\sum _{i=1}^{N}w_{i}}}$Полем Мы можем оценить это, используя наш образцы с: ${\hat {R}}={\hat {\bar {Y}}}={\frac {\sum _{i=1}^{N}I_{i}{\frac {y_{i}}{\pi _{i}}}}{\sum _{i=1}^{N}I_{i}{\frac {1}{\pi _{i}}}}}={\frac {\sum _{i=1}^{N}{\check {y}}'_{i}}{\sum _{i=1}^{N}{\check {1}}'_{i}}}={\frac {\sum _{i=1}^{N}w_{i}y'_{i}}{\sum _{i=1}^{N}w_{i}1'_{i}}}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{\sum _{i=1}^{n}w_{i}1'_{i}}}={\bar {y}}_{w}$Полем Когда мы перешли от использования n к использованию n, мы на самом деле знаем, что все переменные индикатора получают 1, поэтому мы могли бы просто написать: ${\bar {y}}_{w}={\frac {\sum _{i=1}^{n}w_{i}y_{i}}{\sum _{i=1}^{n}w_{i}}}$Полем Это будет оценкой для конкретных значений y и w, но статистические свойства появляются при включении переменной индикатора ${\bar {y}}_{w}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{\sum _{i=1}^{n}w_{i}1'_{i}}}$.

Это называется оценкой соотношения , и это приблизительно беспристрастно для r .

В этом случае изменчивость отношения зависит от изменчивости случайных величин как в числителе, так и в знаменателе, а также их корреляции. Поскольку для вычисления этой дисперсии нет закрытой аналитической формы, для приблизительной оценки используются различные методы. В первую очередь серия Тейлора линеаризацию первого порядка, асимптотику и начальная загрузка/ножниф. Метод линеаризации Тейлора может привести к недооценке дисперсии для небольших размеров выборки в целом, но это зависит от сложности статистики. Для среднего значения, приблизительная дисперсия должна быть относительно точной даже для средних размеров выборки. Ибо, когда выборка имеет случайный размер выборки (как в пуассонской выборке ), это следующее:

${\widehat {V({\bar {y}}_{w})}}={\frac {1}{(\sum _{i=1}^{n}w_{i})^{2}}}\sum _{i=1}^{n}w_{i}^{2}(y_{i}-{\bar {y}}_{w})^{2}$.

Если $\pi _{i}\approx p_{i}n$, тогда либо используя $w_{i}={\frac {1}{\pi _{i}}}$ или $w_{i}={\frac {1}{p_{i}}}$ даст ту же оценку, так как умножение $w_{i}$ каким -то фактором приведет к той же оценке. Это также означает, что если мы масштабируем сумму весов, чтобы быть равной известной до размера популяции N , расчет дисперсии будет выглядеть одинаково. Когда все веса равны друг другу, эта формула уменьшается до стандартной беспристрастной оценки дисперсии.

Доказательство

Линеаризация Тейлора утверждает, что для общего соотношения оценки двух сумм ( ${\hat {R}}={\frac {\hat {Y}}{\hat {Z}}}$), они могут быть расширены вокруг истинной стоимости r и дать:

$${\hat {R}}={\frac {\hat {Y}}{\hat {Z}}}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{\sum _{i=1}^{n}w_{i}z'_{i}}}\approx R+{\frac {1}{Z}}\sum _{i=1}^{n}\left({\frac {y'_{i}}{\pi _{i}}}-R{\frac {z'_{i}}{\pi _{i}}}\right)$$

И дисперсия может быть аппроксимирована:

$${\widehat {V({\hat {R}})}}={\frac {1}{{\hat {Z}}^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\frac {y_{i}-{\hat {R}}z_{i}}{\pi _{i}}}{\frac {y_{j}-{\hat {R}}z_{j}}{\pi _{j}}}\right)={\frac {1}{{\hat {Z}}^{2}}}\left[{\widehat {V({\hat {Y}})}}+{\hat {R}}{\widehat {V({\hat {Z}})}}-2{\hat {R}}{\hat {C}}({\hat {Y}},{\hat {Z}})\right]$$.

Термин ${\hat {C}}({\hat {Y}},{\hat {Z}})$ является предполагаемой ковариацией между предполагаемой суммой Y и оцененной суммой Z. Поскольку это ковариация двух сумм случайных величин , она будет включать в себя множество комбинаций ковариаций, которые будут зависеть от переменных индикатора. Если вероятность выбора некоррелирована (т.е. $\forall i\neq j:\Delta _{ij}=C(I_{i},I_{j})=0$), этот термин все равно будет включать суммирование ковариаций для каждого элемента I между $y'_{i}=I_{i}y_{i}$ и $z'_{i}=I_{i}z_{i}$Полем Это помогает проиллюстрировать, что эта формула включает влияние корреляции между Y и z на дисперсию оценщиков соотношений.

При определении $z_{i}=1$ Выше становится:

$${\widehat {V({\hat {R}})}}={\widehat {V({\bar {y}}_{w})}}={\frac {1}{{\hat {N}}^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\frac {y_{i}-{\bar {y}}_{w}}{\pi _{i}}}{\frac {y_{j}-{\bar {y}}_{w}}{\pi _{j}}}\right).$$

Если вероятность выбора некоррелирована (т.е. $\forall i\neq j:\Delta _{ij}=C(I_{i},I_{j})=0$), и при предположении вероятности каждого элемента очень мала (т.е. $(1-\pi _{i})\approx 1$), затем приведенное выше доведено до следующего: $${\widehat {V({\bar {y}}_{w})}}={\frac {1}{{\hat {N}}^{2}}}\sum _{i=1}^{n}\left((1-\pi _{i}){\frac {y_{i}-{\bar {y}}_{w}}{\pi _{i}}}\right)^{2}={\frac {1}{(\sum _{i=1}^{n}w_{i})^{2}}}\sum _{i=1}^{n}w_{i}^{2}(y_{i}-{\bar {y}}_{w})^{2}.$$

Аналогичное воссоздание доказательства (до некоторых ошибок в конце) было предоставлено Томасом Ламли в CrossValidated.

У нас есть (по крайней мере) две версии дисперсии для среднего звена: одна с известной и одна с неизвестной оценкой размера популяции. Не существует единообразно лучшего подхода, но в литературе представлено несколько аргументов, предпочитая использовать версию оценки населения (даже когда размер популяции известен). Например: если все значения Y постоянны, оценка с неизвестным размером популяции даст правильный результат, в то время как тот, у кого есть известный размер популяции, будет иметь некоторую изменчивость. Кроме того, когда сам размер выборки является случайным (например, в отборе выборки Пуассона ), версия с неизвестным средним значением популяции считается более стабильной. Наконец, если доля выборки отрицательно коррелирует со значениями (то есть: меньший шанс выбрать большое наблюдение, которое является большим), то не известная версия размера популяции слегка компенсирует это.

Для тривиального случая, в котором все веса равны 1, вышеуказанная формула подобна обычной формуле для дисперсии среднего (но обратите внимание, что она использует оценку максимального вероятности для дисперсии вместо беспристрастной дисперсии. IE: Разделив его на n вместо (n-1)).

Начальная проверка

Это было показано, Gatz et al. (1995), что по сравнению с методами начальной загрузки , следующее (оценка дисперсии среднего соотношения с использованием линеаризации серии Тейлор ) является разумной оценкой для квадрата стандартной ошибки среднего (при использовании в контексте измерения химических составляющих) :

${\widehat {\sigma _{{\bar {x}}_{w}}^{2}}}={\frac {n}{(n-1)(n{\bar {w}})^{2}}}\left[\sum (w_{i}x_{i}-{\bar {w}}{\bar {x}}_{w})^{2}-2{\bar {x}}_{w}\sum (w_{i}-{\bar {w}})(w_{i}x_{i}-{\bar {w}}{\bar {x}}_{w})+{\bar {x}}_{w}^{2}\sum (w_{i}-{\bar {w}})^{2}\right]$

где ${\bar {w}}={\frac {\sum w_{i}}{n}}$Полем Дальнейшее упрощение приводит к

${\widehat {\sigma _{\bar {x}}^{2}}}={\frac {n}{(n-1)(n{\bar {w}})^{2}}}\sum w_{i}^{2}(x_{i}-{\bar {x}}_{w})^{2}$

Gatz et al. Укажите, что вышеупомянутая формулировка была опубликована Endlich et al. (1988) При обработке среднего значения как комбинации взвешенного общего оценки, разделенного на оценку численности численности, Основываясь на формулировке, опубликованной Cochran (1977), как приближение к среднему значению. Однако Endlich et al. Похоже, не опубликовал этот вывод в своей статье (хотя они упоминают, что использовали его), и книга Кокрана включает в себя немного другую формулировку. Тем не менее, это почти идентично составам, описанным в предыдущих разделах.

Оценки на основе репликации

Поскольку не существует закрытой аналитической формы для дисперсии взвешенного среднего значения, в литературе было предложено полагаться на методы репликации, такие как ножна и начальная загрузка .

Другие примечания

Для некоррелированных наблюдений с дисперсиями $\sigma _{i}^{2}$, дисперсия среднего взвешенного образца

$\sigma _{\bar {x}}^{2}=\sum _{i=1}^{n}{w_{i}'^{2}\sigma _{i}^{2}}$

чей квадратный корень $\sigma _{\bar {x}}$ можно назвать стандартной ошибкой среднего значения (общий случай) .

Следовательно, если все наблюдения имеют одинаковую дисперсию, $\sigma _{i}^{2}=\sigma _{0}^{2}$, среднее значение взвешенного образца будет иметь дисперсию

$\sigma _{\bar {x}}^{2}=\sigma _{0}^{2}\sum _{i=1}^{n}{w_{i}'^{2}},$

где ${\textstyle 1/n\leq \sum _{i=1}^{n}{w_{i}'^{2}}\leq 1}$Полем Дисперсия достигает своего максимального значения, $\sigma _{0}^{2}$, когда все веса, кроме одного, равны нулю. Его минимальное значение обнаруживается, когда все веса равны (т.е. невзвешенное среднее), и в этом случае у нас есть ${\textstyle \sigma _{\bar {x}}=\sigma _{0}/{\sqrt {n}}}$, т.е. он дегенерирует в стандартную ошибку среднего значения , квадрат.

Поскольку всегда можно трансформировать ненормализованные веса в нормализованные веса, все формулы в этом разделе могут быть адаптированы к ненормализованным весам путем замены всех $w_{i}'={\frac {w_{i}}{\sum _{i=1}^{n}{w_{i}}}}$.

Связанные концепции

Взвешенная дисперсия выборки

См. Также: § Исправление для переоценки или недостаточности

Как правило, когда вычисляется среднее значение, важно знать дисперсию и стандартное отклонение в отношении этого среднего. Когда среднее взвешивание $\mu ^{*}$ используется, дисперсия взвешенного образца отличается от дисперсии невзвешенной выборки.

Смещенная взвешенная дисперсия выборки ${\hat {\sigma }}_{\mathrm {w} }^{2}$ определяется аналогично нормальной смещенной дисперсии выборки ${\hat {\sigma }}^{2}$:

${\begin{aligned}{\hat {\sigma }}^{2}\ &={\frac {\sum \limits _{i=1}^{N}\left(x_{i}-\mu \right)^{2}}{N}}\\{\hat {\sigma }}_{\mathrm {w} }^{2}&={\frac {\sum \limits _{i=1}^{N}w_{i}\left(x_{i}-\mu ^{*}\right)^{2}}{\sum _{i=1}^{N}w_{i}}}\end{aligned}}$

где $\sum _{i=1}^{N}w_{i}=1$ Для нормализованных весов. Если веса являются весами частоты (и, следовательно, являются случайными переменными), это можно показать что ${\hat {\sigma }}_{\mathrm {w} }^{2}$ является оценкой максимальной вероятности $\sigma ^{2}$ Для IID Гауссовых наблюдений.

Для небольших выборок обычно используют беспристрастную оценку для дисперсии населения. В нормальных невзвешенных образцах N в знаменателе (соответствующий размеру выборки) изменяется на n - 1 (см. Коррекцию Бесселя ). В взвешенной обстановке на самом деле существуют два разных непредвзятых оценок, один для случая частотных весов , а другой - для случая веса надежности .

Частотные веса

Если веса являются весами частоты (где вес равен количеству случаев), то непредвзятая оценка:

$s^{2}\ ={\frac {\sum \limits _{i=1}^{N}w_{i}\left(x_{i}-\mu ^{*}\right)^{2}}{\sum _{i=1}^{N}w_{i}-1}}$

Это эффективно применяет коррекцию Бесселя для частотных весов.

Например, если значения $\{2,2,4,5,5,5\}$ извлечены из того же распределения, затем мы можем рассматривать этот набор как невзвешенный образец, или мы можем рассматривать его как взвешенную выборку $\{2,4,5\}$ с соответствующими весами $\{2,1,3\}$, и мы получаем тот же результат в любом случае.

Если частотные веса $\{w_{i}\}$ нормализованы до 1, тогда правильное выражение после коррекции Бесселя становится

$s^{2}\ ={\frac {\sum _{i=1}^{N}w_{i}}{\sum _{i=1}^{N}w_{i}-1}}\sum _{i=1}^{N}w_{i}\left(x_{i}-\mu ^{*}\right)^{2}$

где общее количество образцов $\sum _{i=1}^{N}w_{i}$ (нет $N$) В любом случае, для получения объективной коррекции необходима информация об общем количестве образцов, даже если $w_{i}$ имеет отличное значение, кроме частотного веса.

Оценка может быть непредвзятым только в том случае, если веса не стандартизированы и нормализованы , эти процессы изменяют среднее значение и дисперсию данных и, таким образом, приводят к потере базовой ставки (количество населения, что является требованием для коррекции Бесселя).

Веса надежности

Если веса вместо этого не получают нерушители ( веса надежности ), мы можем определить коррекционный коэффициент, чтобы получить объективную оценку. Предполагая, что каждая случайная переменная отображается из одного и того же распределения со средним значением $\mu$ и фактическая дисперсия $\sigma _{\text{actual}}^{2}$, принимая ожидания, у нас,

${\begin{aligned}\operatorname {E} [{\hat {\sigma }}^{2}]&={\frac {\sum \limits _{i=1}^{N}\operatorname {E} [(x_{i}-\mu )^{2}]}{N}}\\&=\operatorname {E} [(X-\operatorname {E} [X])^{2}]-{\frac {1}{N}}\operatorname {E} [(X-\operatorname {E} [X])^{2}]\\&=\left({\frac {N-1}{N}}\right)\sigma _{\text{actual}}^{2}\\\operatorname {E} [{\hat {\sigma }}_{\mathrm {w} }^{2}]&={\frac {\sum \limits _{i=1}^{N}w_{i}\operatorname {E} [(x_{i}-\mu ^{*})^{2}]}{V_{1}}}\\&=\operatorname {E} [(X-\operatorname {E} [X])^{2}]-{\frac {V_{2}}{V_{1}^{2}}}\operatorname {E} [(X-\operatorname {E} [X])^{2}]\\&=\left(1-{\frac {V_{2}}{V_{1}^{2}}}\right)\sigma _{\text{actual}}^{2}\end{aligned}}$

где $V_{1}=\sum _{i=1}^{N}w_{i}$ и $V_{2}=\sum _{i=1}^{N}w_{i}^{2}$Полем Следовательно, предвзятость в нашем оценке $\left(1-{\frac {V_{2}}{V_{1}^{2}}}\right)$, аналогично $\left({\frac {N-1}{N}}\right)$ предвзятость в невзвешенной оценке (также обратите внимание, что $\ V_{1}^{2}/V_{2}=N_{eff}$ эффективный размер выборки ). Это означает, что для беспристрастных нашего оценки мы должны предварительно предварительно $1-\left(V_{2}/V_{1}^{2}\right)$, гарантируя, что ожидаемое значение оценочной дисперсии равна фактической дисперсии распределения выборки.

Последняя беспристрастная оценка дисперсии выборки:

${\begin{aligned}s_{\mathrm {w} }^{2}\ &={\frac {{\hat {\sigma }}_{\mathrm {w} }^{2}}{1-(V_{2}/V_{1}^{2})}}\\[4pt]&={\frac {\sum \limits _{i=1}^{N}w_{i}(x_{i}-\mu ^{*})^{2}}{V_{1}-(V_{2}/V_{1})}},\end{aligned}}$

где $\operatorname {E} [s_{\mathrm {w} }^{2}]=\sigma _{\text{actual}}^{2}$.

Степени свободы взвешенной, беспристрастной дисперсии выборки соответственно варьируются от n - 1 до 0.

Стандартное отклонение - это просто квадратный корень отклонения выше.

Как примечание, были описаны другие подходы для вычисления взвешенной дисперсии образца.

Взвешенная образец ковариации

В взвешенном образце, каждый вектор ряда $\mathbf {x} _{i}$ (Каждому набору отдельных наблюдений на каждой из k случайных переменных) присваивается веса $w_{i}\geq 0$.

Тогда взвешенный вектор $\mathbf {\mu ^{*}}$ дано

$\mathbf {\mu ^{*}} ={\frac {\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}}{\sum _{i=1}^{N}w_{i}}}.$

И взвешенная ковариационная матрица дается:

$\mathbf {C} ={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{V_{1}}}.$

Подобно взвешенной дисперсии выборки, существует два разных беспристрастных оценщика в зависимости от типа весов.

Частотные веса

Если веса являются весами частоты , непредвзятая взвешенная оценка ковариационной матрицы $\textstyle \mathbf {C}$, с коррекцией Бесселя, дается:

$\mathbf {C} ={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{V_{1}-1}}.$

Эта оценка может быть непредвзятой только в том случае, если веса не являются стандартизированными и нормализованными , эти процессы изменяют среднее значение и дисперсию данных и, таким образом, приводят к потере базовой ставки (количество населения, что является требованием для коррекции Бесселя).

Веса надежности

В случае веса надежности веса нормализованы :

$V_{1}=\sum _{i=1}^{N}w_{i}=1.$

(Если это не так, разделите вес на их сумму, чтобы нормализовать перед расчетом $V_{1}$:

$w_{i}'={\frac {w_{i}}{\sum _{i=1}^{N}w_{i}}}$

Тогда взвешенный вектор $\mathbf {\mu ^{*}}$ может быть упрощен

$\mathbf {\mu ^{*}} =\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}.$

и беспристрастная взвешенная оценка ковариационной матрицы $\mathbf {C}$ является:

${\begin{aligned}\mathbf {C} &={\frac {\sum _{i=1}^{N}w_{i}}{\left(\sum _{i=1}^{N}w_{i}\right)^{2}-\sum _{i=1}^{N}w_{i}^{2}}}\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)\\&={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{V_{1}-(V_{2}/V_{1})}}.\end{aligned}}$

Причина здесь такая же, как в предыдущем разделе.

Поскольку мы предполагаем, что веса нормализованы, тогда $V_{1}=1$ И это сводится к:

$\mathbf {C} ={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{1-V_{2}}}.$

Если все веса одинаковы, т.е. $w_{i}/V_{1}=1/N$, затем взвешенное среднее значение и ковариация уменьшаются до невзвешенного среднего выбора и ковариации выше.

Векторные оценки

Вышеуказанное легко обобщается в случае получения среднего значения оценок векторов. Например, оценки положения на плоскости могут иметь меньшую уверенность в одном направлении, чем другое. Как и в случае скалярного случая, среднее значение множественных оценок может обеспечить максимальную оценку правдоподобия . Мы просто заменяем дисперсию $\sigma ^{2}$ матрицей ковариационной $\mathbf {C}$ и арифметическая обратная с помощью матрицы обратной (оба обозначены одинаково, через суперкрипты); Матрица веса затем гласит:

$$\mathbf {W} _{i}=\mathbf {C} _{i}^{-1}.$$

Взвешенное среднее в этом случае: $${\bar {\mathbf {x} }}=\mathbf {C} _{\bar {\mathbf {x} }}\left(\sum _{i=1}^{n}\mathbf {W} _{i}\mathbf {x} _{i}\right),$$ (где порядок продукта матрикса -вектора не является коммутативным ), с точки зрения ковариации взвешенного среднего: $$\mathbf {C} _{\bar {\mathbf {x} }}=\left(\sum _{i=1}^{n}\mathbf {W} _{i}\right)^{-1},$$

Например, рассмотрим среднее значение точки [1 0] с высокой дисперсией во втором компоненте и [0 1] с высокой дисперсией в первом компоненте. Затем

$\mathbf {x} _{1}:={\begin{bmatrix}1&0\end{bmatrix}}^{\top },\qquad \mathbf {C} _{1}:={\begin{bmatrix}1&0\\0&100\end{bmatrix}}$

$\mathbf {x} _{2}:={\begin{bmatrix}0&1\end{bmatrix}}^{\top },\qquad \mathbf {C} _{2}:={\begin{bmatrix}100&0\\0&1\end{bmatrix}}$

тогда взвешенное среднее - это:

${\begin{aligned}{\bar {\mathbf {x} }}&=\left(\mathbf {C} _{1}^{-1}+\mathbf {C} _{2}^{-1}\right)^{-1}\left(\mathbf {C} _{1}^{-1}\mathbf {x} _{1}+\mathbf {C} _{2}^{-1}\mathbf {x} _{2}\right)\\[5pt]&={\begin{bmatrix}0.9901&0\\0&0.9901\end{bmatrix}}{\begin{bmatrix}1\\1\end{bmatrix}}={\begin{bmatrix}0.9901\\0.9901\end{bmatrix}}\end{aligned}}$

Это имеет смысл: оценка [1 0] является «совместимой» во втором компоненте, а оценка [0 1] соответствует первой компоненте, поэтому взвешенное среднее значение почти [1 1].

Учет корреляций

См. Также: Обобщенные наименьшие квадраты и дисперсия § Сумма коррелированных переменных

В общем случае предположим, что $\mathbf {X} =[x_{1},\dots ,x_{n}]^{T}$, $\mathbf {C}$ Ковариационная матрица, связанная с величинами $x_{i}$, ${\bar {x}}$ общее среднее значение будет оценено, и $\mathbf {J}$ равная Дизайн -матрица, вектору . $[1,\dots ,1]^{T}$ (длины $n$) Теорема Гаусс -Маркова утверждает, что оценка среднего значения, имеющего минимальную дисперсию, определяется:

$\sigma _{\bar {x}}^{2}=(\mathbf {J} ^{T}\mathbf {W} \mathbf {J} )^{-1},$

и

${\bar {x}}=\sigma _{\bar {x}}^{2}(\mathbf {J} ^{T}\mathbf {W} \mathbf {X} ),$

где:

$\mathbf {W} =\mathbf {C} ^{-1}.$

Уменьшение силы взаимодействия

Рассмотрим временные ряды независимой переменной $x$ и зависимая переменная $y$, с $n$ Наблюдения, отобранные в дискретное время $t_{i}$Полем Во многих общих ситуациях ценность $y$ в момент времени $t_{i}$ зависит не только от $x_{i}$ но и на его прошлые ценности. Обычно сила этой зависимости уменьшается по мере увеличения разделения наблюдений. Чтобы моделировать эту ситуацию, можно заменить независимую переменную на его среднее значение скольжения $z$ Для размера окна $m$.

$z_{k}=\sum _{i=1}^{m}w_{i}x_{k+1-i}.$

Экспоненциально снижение веса

См. Также: экспоненциально взвешенная скользящая средняя

В сценарии, описанном в предыдущем разделе, чаще всего снижение силы взаимодействия подчиняется отрицательному экспоненциальному закону. Если наблюдения отображаются в равноудачное время, то экспоненциальное снижение эквивалентно уменьшению постоянной фракцией $0<\Delta <1$ На каждом временном шаге. Параметр $w=1-\Delta$ Мы можем определить $m$ нормализованные веса

$w_{i}={\frac {w^{i-1}}{V_{1}}},$

где $V_{1}$ это сумма негластных весов. В этом случае $V_{1}$ это просто

$V_{1}=\sum _{i=1}^{m}{w^{i-1}}={\frac {1-w^{m}}{1-w}},$

приближается $V_{1}=1/(1-w)$ Для больших значений $m$.

Постоянная демпфирования $w$ должен соответствовать фактическому уменьшению силы взаимодействия. Если это не может быть определена из теоретических соображений, то следующие свойства экспоненциально уменьшающихся веса полезны для выбора подходящего выбора: на шаге $(1-w)^{-1}$, вес приблизительно равен ${e^{-1}}(1-w)=0.39(1-w)$, область хвоста значение $e^{-1}$, область головы ${1-e^{-1}}=0.61$Полем Область хвоста на шаге $n$ является $\leq {e^{-n(1-w)}}$Полем Где в первую очередь самое близкое $n$ Наблюдения за материей и эффектом оставшихся наблюдений можно безопасно игнорировать, а затем выберите $w$ Такой, что область хвоста достаточно мала.

Веселые средние значения функций

Концепция среднего уровня может быть расширена на функции. Взвешенные средние значения функций играют важную роль в системах взвешенного дифференциального и интегрального исчисления.

Коррекция для чрезмерного или недостаточного расстояния

См. Также: § взвешенная дисперсия выборки

Взвешенные средства обычно используются для поиска среднего значения исторических данных, а не теоретически сгенерированных данных. В этом случае в дисперсии каждой точки данных будет некоторая ошибка. Обычно экспериментальные ошибки могут быть недооценены из -за того, что экспериментатор не учитывает все источники ошибки при расчете дисперсии каждой точки данных. В этом случае дисперсия в среднем звене должна быть исправлена, чтобы объяснить тот факт, что $\chi ^{2}$ слишком большой. Коррекция, которая должна быть сделана

${\hat {\sigma }}_{\bar {x}}^{2}=\sigma _{\bar {x}}^{2}\chi _{\nu }^{2}$

где $\chi _{\nu }^{2}$ это уменьшенный хи-квадрат :

$\chi _{\nu }^{2}={\frac {1}{(n-1)}}\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})^{2}}{\sigma _{i}^{2}}};$

Квадратный корень ${\hat {\sigma }}_{\bar {x}}$ может быть назван стандартной ошибкой среднего значения (веса, корректируемые по шкале) .

Когда все отклонения данных равны, $\sigma _{i}=\sigma _{0}$, они отменяются в средней дисперсии, $\sigma _{\bar {x}}^{2}$, который снова сводится к стандартной ошибке среднего (квадратный), $\sigma _{\bar {x}}^{2}=\sigma ^{2}/n$, сформулировано в терминах стандартного отклонения выборки (квадрат),

$\sigma ^{2}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}{n-1}}.$

Смотрите также

• Средний
• Центральная тенденция
• Иметь в виду
• Стандартное отклонение
• Сводная статистика
• Весовой функции
• Средневзвешенная стоимость капитала
• Взвешенное геометрическое среднее
• Взвешенная гармоника среднее
• Взвешенные наименьшие квадраты
• Взвешенная медиана
• Взвешенная скользящая средняя
• Взвешенная сумма переменных
• Взвешивание
• Стандартная ошибка оценки пропорции при использовании взвешенных данных
• Оценка соотношения

Дальнейшее чтение

• Бевингтон, Филип Р. (1969). Сокращение данных и анализ ошибок для физических наук . Нью-Йорк, Нью-Йорк: МакГроу-Хилл. OCLC   300283069 .
• Strutz, T. (2010). Подгонка данных и неопределенность (практическое введение в взвешенные наименьшие квадраты и за его пределами) . Vieweg+Teubner. ISBN  978-3-8348-1022-9 .

Внешние ссылки

• Дэвид Терр. «Взвешенное средство» . MathWorld .
• Инструмент для расчета среднего значения