Лемма Неймана – Пирсона.

В статистике лемма Неймана -Пирсона описывает существование и уникальность отношения правдоподобия как наиболее мощного критерия в определенных контекстах. Он был представлен Ежи Нейманом и Эгоном Пирсоном в статье 1933 года. Лемма Неймана-Пирсона является частью теории статистического тестирования Неймана-Пирсона, которая ввела такие понятия, как ошибки второго рода , степенная функция и индуктивное поведение. Предыдущая теория проверки значимости Фишера постулировала только одну гипотезу. Вводя конкурирующую гипотезу, вариант статистического тестирования Неймана-Пирсона позволяет исследовать два типа ошибок . Тривиальные случаи, когда кто-то всегда отвергает или принимает нулевую гипотезу, не представляют особого интереса, но они доказывают, что нельзя отказываться от контроля над одним типом ошибок при калибровке другого. Соответственно, Нейман и Пирсон ограничили свое внимание классом всех $\alpha$ тесты уровня с последующей минимизацией ошибки второго рода, традиционно обозначаемой $\beta$. Их основополагающая статья 1933 года, включающая лемму Неймана-Пирсона, завершает эти усилия и не только показывает существование тестов с наибольшей мощностью , которые сохраняют заранее заданный уровень ошибки I рода ( $\alpha$), но также предоставляет возможность создавать такие тесты. Теорема Карлина-Рубина расширяет лемму Неймана-Пирсона на ситуации, включающие сложные гипотезы с монотонными отношениями правдоподобия.

Заявление

Рассмотрим тест с гипотезами $H_{0}:\theta =\theta _{0}$ и $H_{1}:\theta =\theta _{1}$, где функция плотности вероятности (или функция массы вероятности ) равна $\rho (x\mid \theta _{i})$ для $i=0,1$.

Для любого теста гипотезы с набором отклонений $R$и любой $\alpha \in [0,1]$, мы говорим, что оно удовлетворяет условию $P_{\alpha }$ если

• $\alpha ={\Pr }_{\theta _{0}}(X\in R)$
  • То есть тест имеет размер $\alpha$ (то есть вероятность ложного отклонения нулевой гипотезы равна $\alpha$).
• $\exists \eta \geq 0$ такой, что

${\begin{aligned}x\in {}&R\smallsetminus A\implies \rho (x\mid \theta _{1})>\eta \rho (x\mid \theta _{0})\\x\in {}&R^{c}\smallsetminus A\implies \rho (x\mid \theta _{1})<\eta \rho (x\mid \theta _{0})\end{aligned}}$

где $A$ представляет собой ничтожный набор в обоих $\theta _{0}$ и $\theta _{1}$ случаи: ${\Pr }_{\theta _{0}}(X\in A)={\Pr }_{\theta _{1}}(X\in A)=0$.

• То есть у нас есть строгий критерий отношения правдоподобия, за исключением незначительного подмножества.

Для любого $\alpha \in [0,1]$, пусть набор уровня $\alpha$ тесты - это набор всех тестов гипотез с размером не более $\alpha$. То есть, позволяя набору отклонения быть $R$, у нас есть ${\Pr }_{\theta _{0}}(X\in R)\leq \alpha$.

Лемма Неймана – Пирсона. - Существование:

Если проверка гипотезы удовлетворяет $P_{\alpha }$ условии, то это равномерно самый мощный (UMP) тест в наборе уровней. $\alpha$ тесты.

Уникальность: Если существует проверка гипотезы $R_{NP}$ это удовлетворяет $P_{\alpha }$ состояние, с $\eta >0$ , то каждый тест UMP $R$ в наборе уровней $\alpha$ тесты удовлетворяют $P_{\alpha }$ состояние с тем же $\eta$.

Кроме того, $R_{NP}$ тест и $R$ тест согласен с вероятностью $1$ ли $\theta =\theta _{0}$ или $\theta =\theta _{1}$.

На практике отношение правдоподобия часто используется непосредственно для построения тестов — см. тест отношения правдоподобия . Однако его также можно использовать, чтобы предложить конкретную тестовую статистику, которая может представлять интерес, или предложить упрощенные тесты — для этого можно рассматривать алгебраические манипуляции с соотношением, чтобы увидеть, есть ли в нем ключевые статистические данные, связанные с размером отношения ( т.е. соответствует ли большая статистика маленькому соотношению или большому).

Доказательство

Учитывая любую проверку гипотезы с набором отклонений $R$, определим его статистическую степенную функцию $\beta _{R}(\theta )={\Pr }_{\theta }(X\in R)$.

Существование:

Учитывая некоторую проверку гипотезы, которая удовлетворяет $P_{\alpha }$ условие, назовем его область отклонения $R_{NP}$ (где NP означает Неймана-Пирсона).

Для любого уровня $\alpha$ проверка гипотезы с областью отклонения $R$ у нас есть $[1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]\geq 0$ кроме как на каком-то игнорируемом наборе $A$.

Затем интегрируйте его $x$ чтобы получить $0\leq [\beta _{R_{NP}}(\theta _{1})-\beta _{R}(\theta _{1})]-\eta [\beta _{R_{NP}}(\theta _{0})-\beta _{R}(\theta _{0})].$

С $\beta _{R_{NP}}(\theta _{0})=\alpha$ и $\beta _{R}(\theta _{0})\leq \alpha$, мы находим это $\beta _{R_{NP}}(\theta _{1})\geq \beta _{R}(\theta _{1})$.

Таким образом, $R_{NP}$ Отбраковочный тест – это тест UMP в наборе уровней $\alpha$ тесты.

Уникальность:

Для любого другого уровня UMP $\alpha$ тест, с областью отбраковки $R$, у нас есть часть существования, $[\beta _{R_{NP}}(\theta _{1})-\beta _{R}(\theta _{1})]\geq \eta [\beta _{R_{NP}}(\theta _{0})-\beta _{R}(\theta _{0})]$.

Поскольку $R$ тест — UMP, левая часть должна быть нулевой. С $\eta >0$ правая сторона дает $\beta _{R}(\theta _{0})=\beta _{R_{NP}}(\theta _{0})=\alpha$, поэтому $R$ тест имеет размер $\alpha$.

Поскольку подынтегральная функция $[1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]$ неотрицательен и интегрируется до нуля, он должен быть в точности нулем, за исключением некоторого игнорируемого множества. $A$.

Поскольку $R_{NP}$ тест удовлетворяет $P_{\alpha }$ условие, пусть игнорируемый набор в определении $P_{\alpha }$ условие быть $A_{NP}$.

$R\smallsetminus (R_{NP}\cup A_{NP})$ игнорироваться, поскольку для всех $x\in R\smallsetminus (R_{NP}\cup A_{NP})$, у нас есть $[1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]=\eta \rho (x\mid \theta _{0})-\rho (x\mid \theta _{1})>0$.

Сходным образом, $R_{NP}\smallsetminus (R\cup A_{NP})$ игнорируется.

Определять $A_{R}:=(R\mathbin {\Delta } R_{NP})\cup A_{NP}$ (где $\Delta$ означает симметричную разность ). Это объединение трех игнорируемых множеств, поэтому это игнорируемое множество.

Тогда у нас есть $x\in R\smallsetminus A_{R}\implies \rho (x\mid \theta _{1})>\eta \rho (x\mid \theta _{0})$ и $x\in R^{c}\smallsetminus A_{R}\implies \rho (x\mid \theta _{1})<\eta \rho (x\mid \theta _{0})$. Итак, $R$ тест на отбраковку удовлетворяет $P_{\alpha }$ состояние с тем же $\eta$.

С $A_{R}$ игнорируется, его подмножество $R\mathbin {\Delta } R_{NP}\subset A_{R}$ также игнорируется. Следовательно, два теста согласуются с вероятностью $1$ ли $\theta =\theta _{0}$ или $\theta =\theta _{1}$.

Пример

Позволять $X_{1},\dots ,X_{n}$ быть случайной выборкой из ${\mathcal {N}}(\mu ,\sigma ^{2})$ распределение, где среднее $\mu$ известно, и предположим, что мы хотим проверить $H_{0}:\sigma ^{2}=\sigma _{0}^{2}$ против $H_{1}:\sigma ^{2}=\sigma _{1}^{2}$. Вероятность для этого набора нормально распределенных данных равна

${\mathcal {L}}\left(\sigma ^{2}\mid \mathbf {x} \right)\propto \left(\sigma ^{2}\right)^{-n/2}\exp \left\{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right\}.$

Мы можем вычислить отношение правдоподобия , чтобы найти ключевую статистику в этом тесте и ее влияние на результат теста:

$\Lambda (\mathbf {x} )={\frac {{\mathcal {L}}\left({\sigma _{0}}^{2}\mid \mathbf {x} \right)}{{\mathcal {L}}\left({\sigma _{1}}^{2}\mid \mathbf {x} \right)}}=\left({\frac {\sigma _{0}^{2}}{\sigma _{1}^{2}}}\right)^{-n/2}\exp \left\{-{\frac {1}{2}}(\sigma _{0}^{-2}-\sigma _{1}^{-2})\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right\}.$

Это соотношение зависит только от данных через $\sum _{i=1}^{n}(x_{i}-\mu )^{2}$. Следовательно, согласно лемме Неймана–Пирсона, наиболее мощная этого типа проверка гипотезы для этих данных будет зависеть только от $\sum _{i=1}^{n}(x_{i}-\mu )^{2}$. Кроме того, при осмотре мы видим, что если $\sigma _{1}^{2}>\sigma _{0}^{2}$, затем $\Lambda (\mathbf {x} )$ является убывающей функцией $\sum _{i=1}^{n}(x_{i}-\mu )^{2}$. Поэтому мы должны отвергнуть $H_{0}$ если $\sum _{i=1}^{n}(x_{i}-\mu )^{2}$ достаточно велик. Порог отклонения зависит от размера теста. В этом примере можно показать, что тестовая статистика представляет собой масштабированную случайную величину, распределенную по хи-квадрату, и можно получить точное критическое значение.

Применение в экономике

Вариант леммы Неймана-Пирсона нашел применение в, казалось бы, несвязанной области экономики стоимости земли. Одной из фундаментальных проблем теории потребителей является вычисление функции спроса потребителя с учетом цен. В частности, при наличии неоднородного земельного участка, меры цены на землю и субъективной меры полезности земли проблема потребителя состоит в том, чтобы рассчитать лучший земельный участок, который он может купить, т. е. земельный участок с наибольшей полезностью, чья цена максимально соответствует их бюджету. Оказывается, эта проблема очень похожа на проблему поиска наиболее мощного статистического критерия, поэтому можно использовать лемму Неймана–Пирсона.

Использование в электротехнике

Лемма Неймана-Пирсона весьма полезна в электронной технике , а именно при проектировании и использовании радиолокационных систем, систем цифровой связи и систем обработки сигналов . В радиолокационных системах лемма Неймана-Пирсона используется для того, чтобы сначала установить частоту пропущенных обнаружений на желаемый (низкий) уровень, а затем минимизировать частоту ложных тревог , или наоборот. Ни ложные тревоги, ни пропущенные обнаружения не могут быть установлены на сколь угодно низких уровнях, включая нулевой. Все вышесказанное относится и ко многим системам обработки сигналов.

Использование в физике элементарных частиц

Лемма Неймана-Пирсона применяется для построения специфичных для анализа отношений правдоподобия, используемых, например, для проверки признаков новой физики по сравнению с номинальным предсказанием Стандартной модели в наборах данных о столкновениях протонов, собранных на БАК .

Открытие леммы

Нейман писал об открытии леммы следующим образом. Вставлены разрывы абзацев.

Я могу указать на конкретный момент, когда я понял, как сформулировать недогматическую проблему наиболее мощной проверки простой статистической гипотезы против фиксированной простой альтернативы. В настоящее время [вероятно, в 1968 году] проблема кажется совершенно тривиальной и вполне доступной для начинающего студента. Но, с долей смущения, я должен признаться, что потребовалось около полувека совместных усилий ESP [Эгона Пирсона] и меня, чтобы все исправить.

Решение упомянутого частного вопроса пришло однажды вечером, когда я сидел один в своей комнате в статистической лаборатории Сельскохозяйственной школы в Варшаве и напряженно размышлял над чем-то, что должно было быть очевидным задолго до этого. Здание было заперто, и около 8 часов вечера я услышал голоса снаружи, зовущие меня. Моя жена с друзьями говорили мне, что пора идти в кино.

Моей первой реакцией было раздражение. А потом, встав из-за стола, чтобы ответить на звонок, я вдруг понял: для любой данной критической области и для любой альтернативной гипотезы можно вычислить вероятность ошибки второго рода; он представлен этим конкретным интегралом. Как только это будет сделано, оптимальной критической областью будет та, которая минимизирует тот же самый интеграл, при условии соблюдения дополнительного условия, связанного с вероятностью ошибки первого рода. Мы столкнулись с особой проблемой вариационного исчисления, вероятно, простой проблемой.

Эти мысли возникли в мгновение ока, прежде чем я подошел к окну, чтобы подать знак жене. Этот инцидент хорошо запомнился мне, но о фильме, который мы смотрели, я не помню. Возможно, это был Бастер Китон.

См. также

• Показатели ошибок при проверке гипотез
• F -тест
• Лемма
• Теорема Уилкса

Ссылки

• Э. Л. Леманн, Джозеф П. Романо, Проверка статистических гипотез , Springer, 2008, с. 60

Внешние ссылки

• Косма Шализи дает интуитивный вывод леммы Неймана – Пирсона, используя идеи экономики.
• cnx.org: критерий Неймана – Пирсона