Взвешивание обратной дисперсии

В статистике взвешивание с обратной дисперсией — это метод агрегирования двух или более случайных величин для минимизации дисперсии средневзвешенного значения . Каждая случайная величина имеет вес, обратно пропорциональный ее дисперсии (т. е. пропорциональный ее точности ).

Учитывая последовательность независимых наблюдений $y i$ с дисперсиями $σ i 2$ , средневзвешенное значение обратной дисперсии определяется выражением ^[1]

{\hat {y}}={\frac {\sum _{i}y_{i}/\sigma _{i}^{2}}{\sum _{i}1/\sigma _{i}^{2}}}.

Средневзвешенное значение с обратной дисперсией имеет наименьшую дисперсию среди всех средневзвешенных значений, которую можно рассчитать как

Var({\hat {y}})={\frac {1}{\sum _{i}1/\sigma _{i}^{2}}}.

Если все дисперсии измерений равны, то взвешенное среднее с обратной дисперсией становится простым средним.

Взвешивание обратной дисперсии обычно используется в статистическом метаанализе или объединении датчиков для объединения результатов независимых измерений.

Контекст

Предположим, экспериментатор желает измерить значение какой-либо величины, скажем, ускорения силы тяжести Земли , истинное значение которого оказывается равным $\mu$ . Внимательный экспериментатор проводит несколько измерений, которые мы обозначим через $n$ случайные величины $X_{1},X_{2},...,X_{n}$ . Если все они зашумлены, но несмещены, т. е. измерительный прибор систематически не завышает и не занижает истинное значение и ошибки разбросаны симметрично, то математическое ожидание $E[X_{i}]=\mu$ $\forall i$ . Тогда разброс измерений характеризуется дисперсией случайных величин. $Var(X_{i}):=\sigma _{i}^{2}$ , а если измерения проводятся по идентичным сценариям, то все $\sigma _{i}$ одинаковы, и мы будем называть их $\sigma$ . Учитывая $n$ измерения, типичный оценщик для $\mu$ , обозначенный как ${\hat {\mu }}$ , определяется простым средним ${\overline {X}}={\frac {1}{n}}\sum _{i}X_{i}$ . Обратите внимание, что это эмпирическое среднее значение также является случайной величиной, чье математическое ожидание $E[{\overline {X}}]$ является $\mu$ но также имеет разброс. Если отдельные измерения некоррелированы, квадрат ошибки оценки определяется выражением $Var({\overline {X}})={\frac {1}{n^{2}}}\sum _{i}\sigma _{i}^{2}=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}$ . Следовательно, если все $\sigma _{i}$ равны, то ошибка оценки уменьшается с увеличением $n$ как $1/{\sqrt {n}}$ , что делает предпочтительным большее количество наблюдений.

Вместо $n$ повторные измерения одним прибором, если экспериментатор производит $n$ такого же количества с $n$ разные приборы с разным качеством измерений, то нет оснований ожидать разного $\sigma _{i}$ быть таким же. Некоторые инструменты могут быть более шумными, чем другие. В примере измерения ускорения свободного падения различные «приборы» могут измерять $g$ от простого маятника , от анализа движения снаряда и т. д. Простое среднее больше не является оптимальным средством оценки, поскольку ошибка в ${\overline {X}}$ фактически может превысить ошибку наименее зашумленного измерения, если разные измерения имеют очень разные ошибки. Вместо того, чтобы отбрасывать зашумленные измерения, которые увеличивают окончательную ошибку, экспериментатор может объединить все измерения с соответствующими весами, чтобы придать большее значение измерениям с наименьшим шумом, и наоборот. Учитывая знания о $\sigma _{1}^{2},\sigma _{2}^{2},...,\sigma _{n}^{2}$ , оптимальная оценка для измерения $\mu$ будет средневзвешенным значением измерений ${\hat {\mu }}={\frac {\sum _{i}w_{i}X_{i}}{\sum _{i}w_{i}}}$ , для конкретного выбора весов $w_{i}=1/\sigma _{i}^{2}$ . Дисперсия оценки $Var({\hat {\mu }})={\frac {\sum _{i}w_{i}^{2}\sigma _{i}^{2}}{\left(\sum _{i}w_{i}\right)^{2}}}$ , которые для оптимального выбора весов принимают вид $Var({\hat {\mu }}_{\text{opt}})=\left(\sum _{i}\sigma _{i}^{-2}\right)^{-1}.$

Обратите внимание, что поскольку $Var({\hat {\mu }}_{\text{opt}})<\min _{j}\sigma _{j}^{2}$ , разброс оценщика меньше, чем разброс при любом отдельном измерении. Кроме того, разброс в ${\hat {\mu }}_{\text{opt}}$ уменьшается при добавлении дополнительных измерений, какими бы зашумленными ни были эти измерения.

Вывод

Рассмотрим общую взвешенную сумму $Y=\sum _{i}w_{i}X_{i}$ , где веса $w_{i}$ нормированы так, что $\sum _{i}w_{i}=1$ . Если $X_{i}$ все независимы, дисперсия $Y$ дается (см. тождество Бьенеме )

Var(Y)=\sum _{i}w_{i}^{2}\sigma _{i}^{2}.

Для оптимальности мы хотим минимизировать $Var(Y)$ что можно сделать, приравняв градиент по весам $Var(Y)$ к нулю, сохраняя при этом ограничение, что $\sum _{i}w_{i}=1$ . Использование множителя Лагранжа $w_{0}$ чтобы обеспечить соблюдение ограничения, мы выражаем дисперсию:

Var(Y)=\sum _{i}w_{i}^{2}\sigma _{i}^{2}-w_{0}(\sum _{i}w_{i}-1).

Для $k>0$ ,

0={\frac {\partial }{\partial w_{k}}}Var(Y)=2w_{k}\sigma _{k}^{2}-w_{0},

что подразумевает, что:

w_{k}={\frac {w_{0}/2}{\sigma _{k}^{2}}}.

Главный вывод здесь заключается в том, что $w_{k}\propto 1/\sigma _{k}^{2}$ . С $\sum _{i}w_{i}=1$ ,

{\frac {2}{w_{0}}}=\sum _{i}{\frac {1}{\sigma _{i}^{2}}}:={\frac {1}{\sigma _{0}^{2}}}.

Индивидуальные нормализованные веса:

w_{k}={\frac {1}{\sigma _{k}^{2}}}\left(\sum _{i}{\frac {1}{\sigma _{i}^{2}}}\right)^{-1}.

Легко увидеть, что это экстремальное решение соответствует минимуму из второго теста частной производной, если отметить, что дисперсия является квадратичной функцией весов. Таким образом, минимальная дисперсия оценки определяется следующим образом:

Var(Y)=\sum _{i}{\frac {\sigma _{0}^{4}}{\sigma _{i}^{4}}}\sigma _{i}^{2}=\sigma _{0}^{4}\sum _{i}{\frac {1}{\sigma _{i}^{2}}}=\sigma _{0}^{4}{\frac {1}{\sigma _{0}^{2}}}=\sigma _{0}^{2}={\frac {1}{\sum _{i}1/\sigma _{i}^{2}}}.

Нормальные распределения

Для нормально распределенных случайных величин также можно получить средневзвешенные значения с обратной дисперсией как оценку максимального правдоподобия для истинного значения. Более того, с байесовской точки зрения апостериорное распределение истинного значения при нормально распределенных наблюдениях $y_{i}$ а плоское априорное распределение представляет собой нормальное распределение со средневзвешенным значением обратной дисперсии в качестве среднего и дисперсии. $Var(Y)$

Многомерный случай

Для многомерных распределений эквивалентный аргумент приводит к оптимальному взвешиванию на основе ковариационных матриц. $\mathbf {C} _{i}$ отдельных векторных оценок $\mathbf {x} _{i}$ :

\mathbf {\hat {x}} =\left(\sum _{i}\mathbf {C} _{i}^{-1}\right)^{-1}\sum _{i}\mathbf {C} _{i}^{-1}\mathbf {x} _{i}

\mathbf {\hat {C}} =\left(\sum _{i}\mathbf {C} _{i}^{-1}\right)^{-1}

Для многомерных распределений чаще используется термин «точно-взвешенное» среднее.

См. также

Ссылки

^ Иоахим Хартунг; Гвидо Кнапп; Бимал К. Синха (2008). Статистический метаанализ с приложениями . Джон Уайли и сыновья . ISBN 978-0-470-29089-7 .

[1] Иоахим Хартунг; Гвидо Кнапп; Бимал К. Синха (2008). Статистический метаанализ с приложениями . Джон Уайли и сыновья . ISBN 978-0-470-29089-7 .

[1]