Критерий Шовене

В статистической теории критерий Шовене (названный в честь Уильяма Шовене ^{[ 1 ]}) — это средство оценки того, может ли одна часть экспериментальных данных — выброс — из набора наблюдений быть ложной. ^{[ 2 ]}

Вывод

Идея, лежащая в основе критерия Шовене, заключается в поиске вероятностного диапазона, который разумно содержит все n выборок набора данных, сосредоточенных на среднем значении нормального распределения . При этом любую точку данных из n выборок, которая лежит за пределами этого диапазона вероятности, можно считать выбросом , удалить из набора данных, и можно рассчитать новое среднее и стандартное отклонение на основе оставшихся значений и нового размера выборки. Такая идентификация выбросов будет достигнута путем нахождения количества стандартных отклонений, которые соответствуют границам диапазона вероятности вокруг среднего значения ( $D_{\mathrm {max} }$ ) и сравнение этого значения с абсолютным значением разницы между предполагаемыми выбросами и средним значением, деленным на стандартное отклонение выборки (уравнение 1).

D_{\mathrm {max} }\geq {\frac {|x-{\bar {x}}|}{s_{x}}}

( 1 )

где

$D_{\mathrm {max} }$ – максимально допустимое отклонение,
$|\cdot |$ это абсолютное значение,
$x$ значение предполагаемого выброса,
${\bar {x}}$ является выборочным средним, и
$s_{x}$ — стандартное отклонение выборки.

Чтобы считаться включающим все $n$ наблюдений в выборке, полоса вероятности (с центром по среднему значению) должна учитывать только $n-{\tfrac {1}{2}}$ образцы (если $n=3$ тогда только 2,5 выборки должны быть учтены в полосе вероятности). На самом деле у нас не может быть частичных выборок, поэтому $n-{\tfrac {1}{2}}$ (2,5 за $n=3$ ) примерно $n$ . Что-нибудь меньше, чем $n-{\tfrac {1}{2}}$ примерно $n-1$ (2, если $n=3$ ) и недействителен, поскольку мы хотим найти диапазон вероятностей, содержащий $n$ наблюдения, не $n-1$ образцы. Короче говоря, мы ищем вероятность, $P$ , что равно $n-{\tfrac {1}{2}}$ из $n$ образцы (уравнение 2).

P={\frac {n-{\tfrac {1}{2}}}{n}}=1-{\tfrac {1}{2n}}

( 2 )

где

$P$ - это полоса вероятности, центрированная на выборочном среднем и
$n$ это размер выборки.

Количество ${\tfrac {1}{2n}}$ соответствует объединенной вероятности, представленной двумя хвостами нормального распределения, выходящими за пределы диапазона вероятностей. $P$ . Чтобы найти уровень стандартного отклонения, связанный с $P$ , необходимо анализировать только вероятность одного из хвостов нормального распределения из-за его симметрии (уравнение 3).

P_{z}={\frac {1}{4n}}

( 3 )

где

$P_{z}$ вероятность представлена одним хвостом нормального распределения и
$n$ = размер выборки.

Уравнение 1 аналогично $Z$ уравнение -оценки (уравнение 4).

Z={\frac {x-\mu }{\sigma }}

( 4 )

где

$Z$ это $Z$ -счет,
$x$ это выборочное значение,
$\mu =0$ является средним значением стандартного нормального распределения, а
$\sigma =1$ — стандартное отклонение стандартного нормального распределения.

На основании уравнения 4 найти $D_{\mathrm {max} }$ (Уравнение 1) найдите z-показатель, соответствующий $P_{z}$ в $Z$ -таблица баллов. $D_{\mathrm {max} }$ равен баллу за $P_{z}$ . Используя этот метод $D_{\mathrm {max} }$ можно определить для любого размера выборки. В Excel $D_{\mathrm {max} }$ можно найти по следующей формуле: =ABS(НОРМ.С.ОБР(1/(4 n ))).

Расчет

Чтобы применить критерий Шовене, сначала рассчитайте среднее и стандартное отклонение наблюдаемых данных. В зависимости от того, насколько подозрительные данные отличаются от среднего, используйте функцию нормального распределения (или ее таблицу), чтобы определить вероятность того, что данная точка данных будет иметь значение подозрительной точки данных. Умножьте эту вероятность на количество взятых точек данных. Если результат меньше 0,5, подозрительная точка данных может быть отброшена, т. е. показания могут быть отклонены, если вероятность получения конкретного отклонения от среднего значения меньше, чем ${\tfrac {1}{2n}}$ . ^{[ нужна ссылка ]}

Пример

Например, предположим, что значение измерено экспериментально в нескольких испытаниях как 9, 10, 10, 10, 11 и 50, и мы хотим выяснить, является ли 50 выбросом.

Сначала мы находим $P_{z}$ .

$P_{z}=1-{\frac {1}{4n}}=1-{\frac {1}{4\times 6}}=1-{\frac {1}{24}}\approx .9583$

Затем мы находим $D_{max}$ подключив $P_{z}$ в функцию квантиля .

$D_{max}=Q(P_{z})\approx 1.7317$

Затем мы находим z-оценку, равную 50.

$z={\frac {50-{\bar {x}}}{s_{x}}}={\frac {50-16.67}{16.34}}\approx 2.04$

Отсюда мы видим, что $z>D_{max}$ и можем заключить, что 50 — это выброс согласно критерию Шовене.

Критерий Пирса

Другой метод устранения ложных данных называется критерием Пирса . Он был разработан за несколько лет до публикации критерия Шовене и представляет собой более строгий подход к рациональному удалению выбросов. ^{[ 3 ]} Другие методы, такие как тест Граббса на выбросы, упомянуты в списке Outlier . ^{[ нужна ссылка ]}

Критика

Удаление выбросов — спорная практика, не одобряемая многими учеными и преподавателями естественных наук; хотя критерий Шовене обеспечивает объективный и количественный метод отклонения данных, он не делает эту практику более обоснованной с научной или методологической точки зрения, особенно в небольших наборах или там, где нормальное распределение нельзя предположить . Отклонение выбросов более приемлемо в тех областях практики, где достоверно известны базовая модель измеряемого процесса и обычное распределение ошибок измерения.

Ссылки

^ Шовене, Уильям. Руководство по сферической и практической астрономии V. II. 1863. Перепечатка 1891 года. 5-е изд. Дувр, Нью-Йорк: 1960. стр. 474–566.
^ Фратта, М; Скаринги, С; Дрю, Дж. Э.; Монгио, М; Книгге, К; Маккароне, Ти Джей; Суд, JMC; Илкевич, К.А.; Пала, А.Ф.; Ганди, П; Генсике, Б. (21 июля 2021 г.). «Популяционная идентификация источников избытка H α в каталогах Gaia DR2 и IPHAS» . Ежемесячные уведомления Королевского астрономического общества . 505 (1): 1135–1152. дои : 10.1093/mnras/stab1258 . hdl : 2117/366137 . ISSN 0035-8711 .
^ Росс, доктор философии, Стивен (2003). Статья Университета Нью-Хейвена. Дж. Энгр. Technology, осень 2003 г. Получено с https://www.researchgate.net/profile/Stephen-Ross-9 .

Библиография

Тейлор, Джон Р. Введение в анализ ошибок . 2-е издание. Саусалито, Калифорния: Университетские научные книги, 1997. стр. 166–8.
Барнетт, Вик и Льюис, Тоби. «Выбросы в статистических данных». 3-е издание. Чичестер: Дж. Уайли и сыновья, 1994. ISBN 0-471-93094-6 .
Айша Зербет, Михаил Никулин. Новая статистика для обнаружения выбросов в экспоненциальном случае, Коммуникации в статистике: теория и методы, 2003, т.32, стр. 573–584.

[1] Шовене, Уильям. Руководство по сферической и практической астрономии V. II. 1863. Перепечатка 1891 года. 5-е изд. Дувр, Нью-Йорк: 1960. стр. 474–566.

[2] Фратта, М; Скаринги, С; Дрю, Дж. Э.; Монгио, М; Книгге, К; Маккароне, Ти Джей; Суд, JMC; Илкевич, К.А.; Пала, А.Ф.; Ганди, П; Генсике, Б. (21 июля 2021 г.). «Популяционная идентификация источников избытка H α в каталогах Gaia DR2 и IPHAS» . Ежемесячные уведомления Королевского астрономического общества . 505 (1): 1135–1152. дои : 10.1093/mnras/stab1258 . hdl : 2117/366137 . ISSN 0035-8711 .

[ross-3] Росс, доктор философии, Стивен (2003). Статья Университета Нью-Хейвена. Дж. Энгр. Technology, осень 2003 г. Получено с https://www.researchgate.net/profile/Stephen-Ross-9 .

[ 1 ]

[ 2 ]

[ 3 ]