Статистическая проверка гипотез

На изображении выше показана таблица с некоторыми наиболее распространенными статистическими данными тестов и соответствующими тестами или моделями.

Проверка статистической гипотезы — это метод статистического вывода, используемый для определения того, достаточно ли данные подтверждают конкретную гипотезу. Проверка статистической гипотезы обычно включает в себя расчет тестовой статистики . Затем принимается решение либо путем сравнения тестовой статистики с критическим значением , либо, что то же самое, путем оценки p значения , вычисленного на основе тестовой статистики. около 100 специализированных статистических тестов . Было определено

История

Смотрите также: История вероятности

Хотя проверка гипотез была популяризирована в начале 20-го века, ранние формы использовались в 1700-х годах. Первое использование приписывается Джону Арбутноту (1710 г.). за ним последовал Пьер-Симон Лаплас (1770-е годы) при анализе соотношения полов у человека при рождении; см . § Соотношение полов у человека .

Выбор нулевой гипотезы

Пол Мил утверждал, что эпистемологическая важность выбора нулевой гипотезы осталась в значительной степени непризнанной. Когда нулевая гипотеза предсказывается теорией, более точный эксперимент станет более серьезной проверкой лежащей в ее основе теории. Когда нулевая гипотеза по умолчанию равна «нет разницы» или «нет эффекта», более точный эксперимент является менее серьезной проверкой теории, которая мотивировала проведение эксперимента. Поэтому изучение истоков последней практики может оказаться полезным:

1778: Pierre Laplace compares the birthrates of boys and girls in multiple European cities. He states: "it is natural to conclude that these possibilities are very nearly in the same ratio". Thus, the null hypothesis in this case that the birthrates of boys and girls should be equal given "conventional wisdom".

1900: Karl Pearson develops the chi squared test to determine "whether a given form of frequency curve will effectively describe the samples drawn from a given population." Thus the null hypothesis is that a population is described by some distribution predicted by theory. He uses as an example the numbers of five and sixes in the Weldon dice throw data.

1904: Karl Pearson develops the concept of "contingency" in order to determine whether outcomes are independent of a given categorical factor. Here the null hypothesis is by default that two things are unrelated (e.g. scar formation and death rates from smallpox). The null hypothesis in this case is no longer predicted by theory or conventional wisdom, but is instead the principle of indifference that led Fisher and others to dismiss the use of "inverse probabilities".

Modern origins and early controversy

Modern significance testing is largely the product of Karl Pearson (p-value, Pearson's chi-squared test), William Sealy Gosset (Student's t-distribution), and Ronald Fisher ("null hypothesis", analysis of variance, "significance test"), while hypothesis testing was developed by Jerzy Neyman and Egon Pearson (son of Karl). Ronald Fisher began his life in statistics as a Bayesian (Zabell 1992), but Fisher soon grew disenchanted with the subjectivity involved (namely use of the principle of indifference when determining prior probabilities), and sought to provide a more "objective" approach to inductive inference.

Fisher emphasized rigorous experimental design and methods to extract a result from few samples assuming Gaussian distributions. Neyman (who teamed with the younger Pearson) emphasized mathematical rigor and methods to obtain more results from many samples and a wider range of distributions. Modern hypothesis testing is an inconsistent hybrid of the Fisher vs Neyman/Pearson formulation, methods and terminology developed in the early 20th century.

Fisher popularized the "significance test". He required a null-hypothesis (corresponding to a population frequency distribution) and a sample. His (now familiar) calculations determined whether to reject the null-hypothesis or not. Significance testing did not utilize an alternative hypothesis so there was no concept of a Type II error (false negative).

The p-value was devised as an informal, but objective, index meant to help a researcher determine (based on other knowledge) whether to modify future experiments or strengthen one's faith in the null hypothesis. Hypothesis testing (and Type I/II errors) was devised by Neyman and Pearson as a more objective alternative to Fisher's p-value, also meant to determine researcher behaviour, but without requiring any inductive inference by the researcher.

Neyman & Pearson considered a different problem to Fisher (which they called "hypothesis testing"). They initially considered two simple hypotheses (both with frequency distributions). They calculated two probabilities and typically selected the hypothesis associated with the higher probability (the hypothesis more likely to have generated the sample). Their method always selected a hypothesis. It also allowed the calculation of both types of error probabilities.

Fisher and Neyman/Pearson clashed bitterly. Neyman/Pearson considered their formulation to be an improved generalization of significance testing (the defining paper was abstract; Mathematicians have generalized and refined the theory for decades). Fisher thought that it was not applicable to scientific research because often, during the course of the experiment, it is discovered that the initial assumptions about the null hypothesis are questionable due to unexpected sources of error. He believed that the use of rigid reject/accept decisions based on models formulated before data is collected was incompatible with this common scenario faced by scientists and attempts to apply this method to scientific research would lead to mass confusion.

The dispute between Fisher and Neyman–Pearson was waged on philosophical grounds, characterized by a philosopher as a dispute over the proper role of models in statistical inference.

Events intervened: Neyman accepted a position in the University of California, Berkeley in 1938, breaking his partnership with Pearson and separating the disputants (who had occupied the same building). World War II provided an intermission in the debate. The dispute between Fisher and Neyman terminated (unresolved after 27 years) with Fisher's death in 1962. Neyman wrote a well-regarded eulogy. Some of Neyman's later publications reported p-values and significance levels.

The modern version of hypothesis testing is a hybrid of the two approaches that resulted from confusion by writers of statistical textbooks (as predicted by Fisher) beginning in the 1940s (but signal detection, for example, still uses the Neyman/Pearson formulation). Great conceptual differences and many caveats in addition to those mentioned above were ignored. Neyman and Pearson provided the stronger terminology, the more rigorous mathematics and the more consistent philosophy, but the subject taught today in introductory statistics has more similarities with Fisher's method than theirs.

Sometime around 1940, authors of statistical text books began combining the two approaches by using the p-value in place of the test statistic (or data) to test against the Neyman–Pearson "significance level".

A comparison between Fisherian, frequentist (Neyman–Pearson)

#	Fisher's null hypothesis testing	Neyman–Pearson decision theory
1	Set up a statistical null hypothesis. The null need not be a nil hypothesis (i.e., zero difference).	Set up two statistical hypotheses, H1 and H2, and decide about α, β, and sample size before the experiment, based on subjective cost-benefit considerations. These define a rejection region for each hypothesis.
2	Report the exact level of significance (e.g. p = 0.051 or p = 0.049). Do not refer to "accepting" or "rejecting" hypotheses. If the result is "not significant", draw no conclusions and make no decisions, but suspend judgement until further data is available.	If the data falls into the rejection region of H1, accept H2; otherwise accept H1. Accepting a hypothesis does not mean that you believe in it, but only that you act as if it were true.
3	Use this procedure only if little is known about the problem at hand, and only to draw provisional conclusions in the context of an attempt to understand the experimental situation.	The usefulness of the procedure is limited among others to situations where you have a disjunction of hypotheses (e.g. either μ1 = 8 or μ2 = 10 is true) and where you can make meaningful cost-benefit trade-offs for choosing alpha and beta.

Philosophy

Hypothesis testing and philosophy intersect. Inferential statistics, which includes hypothesis testing, is applied probability. Both probability and its application are intertwined with philosophy. Philosopher David Hume wrote, "All knowledge degenerates into probability." Competing practical definitions of probability reflect philosophical differences. The most common application of hypothesis testing is in the scientific interpretation of experimental data, which is naturally studied by the philosophy of science.

Fisher and Neyman opposed the subjectivity of probability. Their views contributed to the objective definitions. The core of their historical disagreement was philosophical.

Many of the philosophical criticisms of hypothesis testing are discussed by statisticians in other contexts, particularly correlation does not imply causation and the design of experiments.Hypothesis testing is of continuing interest to philosophers.

Education

Main article: Statistics education

Statistics is increasingly being taught in schools with hypothesis testing being one of the elements taught. Many conclusions reported in the popular press (political opinion polls to medical studies) are based on statistics. Some writers have stated that statistical analysis of this kind allows for thinking clearly about problems involving mass data, as well as the effective reporting of trends and inferences from said data, but caution that writers for a broad public should have a solid understanding of the field in order to use the terms and concepts correctly. An introductory college statistics class places much emphasis on hypothesis testing – perhaps half of the course. Such fields as literature and divinity now include findings based on statistical analysis (see the Bible Analyzer). An introductory statistics class teaches hypothesis testing as a cookbook process. Hypothesis testing is also taught at the postgraduate level. Statisticians learn how to create good statistical test procedures (like z, Student's t, F and chi-squared). Statistical hypothesis testing is considered a mature area within statistics, but a limited amount of development continues.

An academic study states that the cookbook method of teaching introductory statistics leaves no time for history, philosophy or controversy. Hypothesis testing has been taught as received unified method. Surveys showed that graduates of the class were filled with philosophical misconceptions (on all aspects of statistical inference) that persisted among instructors. While the problem was addressed more than a decade ago, and calls for educational reform continue, students still graduate from statistics classes holding fundamental misconceptions about hypothesis testing. Ideas for improving the teaching of hypothesis testing include encouraging students to search for statistical errors in published papers, teaching the history of statistics and emphasizing the controversy in a generally dry subject.

Performing a frequentist hypothesis test in practice

The typical steps involved in performing a frequentist hypothesis test in practice are:

1. Define a hypothesis (claim which is testable using data).
2. Select a relevant statistical test with associated test statistic T.
3. Derive the distribution of the test statistic under the null hypothesis from the assumptions. In standard cases this will be a well-known result. For example, the test statistic might follow a Student's t distribution with known degrees of freedom, or a normal distribution with known mean and variance.
4. Select a significance level (α), the maximum acceptable false positive rate. Common values are 5% and 1%.
5. Compute from the observations the observed value t_obs of the test statistic T.
6. Decide to either reject the null hypothesis in favor of the alternative or not reject it. The Neyman-Pearson decision rule is to reject the null hypothesis H₀ if the observed value t_obs is in the critical region, and not to reject the null hypothesis otherwise.

Practical example

The difference in the two processes applied to the radioactive suitcase example (below):

• "The Geiger-counter reading is 10. The limit is 9. Check the suitcase."
• "The Geiger-counter reading is high; 97% of safe suitcases have lower readings. The limit is 95%. Check the suitcase."

The former report is adequate, the latter gives a more detailed explanation of the data and the reason why the suitcase is being checked.

Not rejecting the null hypothesis does not mean the null hypothesis is "accepted" per se (though Neyman and Pearson used that word in their original writings; see the Interpretation section).

The processes described here are perfectly adequate for computation. They seriously neglect the design of experiments considerations.

It is particularly critical that appropriate sample sizes be estimated before conducting the experiment.

The phrase "test of significance" was coined by statistician Ronald Fisher.

Interpretation

When the null hypothesis is true and statistical assumptions are met, the probability that the p-value will be less than or equal to the significance level $\alpha$ is at most $\alpha$. This ensures that the hypothesis test maintains its specified false positive rate (provided that statistical assumptions are met).

The p-value is the probability that a test statistic which is at least as extreme as the one obtained would occur under the null hypothesis. At a significance level of 0.05, a fair coin would be expected to (incorrectly) reject the null hypothesis (that it is fair) in 1 out of 20 tests on average. The p-value does not provide the probability that either the null hypothesis or its opposite is correct (a common source of confusion).

If the p-value is less than the chosen significance threshold (equivalently, if the observed test statistic is in the critical region), then we say the null hypothesis is rejected at the chosen level of significance. If the p-value is not less than the chosen significance threshold (equivalently, if the observed test statistic is outside the critical region), then the null hypothesis is not rejected at the chosen level of significance.

In the "lady tasting tea" example (below), Fisher required the lady to properly categorize all of the cups of tea to justify the conclusion that the result was unlikely to result from chance. His test revealed that if the lady was effectively guessing at random (the null hypothesis), there was a 1.4% chance that the observed results (perfectly ordered tea) would occur.

Use and importance

Statistics are helpful in analyzing most collections of data. This is equally true of hypothesis testing which can justify conclusions even when no scientific theory exists. In the Lady tasting tea example, it was "obvious" that no difference existed between (milk poured into tea) and (tea poured into milk). The data contradicted the "obvious".

Real world applications of hypothesis testing include:

• Testing whether more men than women suffer from nightmares
• Establishing authorship of documents
• Evaluating the effect of the full moon on behavior
• Determining the range at which a bat can detect an insect by echo
• Deciding whether hospital carpeting results in more infections
• Selecting the best means to stop smoking
• Checking whether bumper stickers reflect car owner behavior
• Testing the claims of handwriting analysts

Statistical hypothesis testing plays an important role in the whole of statistics and in statistical inference. For example, Lehmann (1992) in a review of the fundamental paper by Neyman and Pearson (1933) says: "Nevertheless, despite their shortcomings, the new paradigm formulated in the 1933 paper, and the many developments carried out within its framework continue to play a central role in both the theory and practice of statistics and can be expected to do so in the foreseeable future".

Тестирование значимости было излюбленным статистическим инструментом в некоторых экспериментальных социальных науках (более 90% статей в Журнале прикладной психологии в начале 1990-х годов). Другие области отдают предпочтение оценке параметров (например, размера эффекта ). Проверка значимости используется вместо традиционного сравнения прогнозируемого значения и экспериментального результата, лежащего в основе научного метода . Когда теория способна предсказать только знак взаимосвязи, направленную (одностороннюю) проверку гипотезы можно сконфигурировать так, чтобы только статистически значимый результат поддерживал теорию. Эта форма оценки теории является наиболее подвергаемым критике применением проверки гипотез.

Предостережения

«Если бы правительство требовало, чтобы статистические процедуры имели предупреждающие надписи, как на лекарствах, большинство методов вывода действительно имели бы длинные надписи». Это предостережение относится к проверке гипотез и альтернативам им.

Успешная проверка гипотезы связана с вероятностью и частотой ошибок I рода. Вывод может быть неверным.

Выводы теста столь же надежны, как и образец, на котором они основаны. Дизайн эксперимента имеет решающее значение. Был обнаружен ряд неожиданных эффектов, в том числе:

• Умный эффект Ганса . Лошадь, казалось, была способна выполнять простые арифметические действия.
• Эффект Хоторна . Промышленные рабочие были более продуктивны при лучшем освещении и наиболее продуктивны при худшем.
• Эффект плацебо . Таблетки, не содержащие активных ингредиентов, оказались чрезвычайно эффективными.

Статистический анализ вводящих в заблуждение данных приводит к ошибочным выводам. Вопрос качества данных может быть более тонким. Например, в прогнозировании не существует единого мнения относительно меры точности прогноза. В отсутствие консенсусного измерения ни одно решение, основанное на измерениях, не будет бесспорным.

Предвзятость публикации: статистически незначимые результаты могут быть опубликованы с меньшей вероятностью, что может привести к искажению литературы.

Множественное тестирование: когда несколько тестов истинной нулевой гипотезы проводятся одновременно без корректировки, общая вероятность ошибки типа I выше номинального альфа-уровня.

Те, кто принимает критические решения на основе результатов проверки гипотез, благоразумно обращают внимание на детали, а не только на выводы. В физических науках большинство результатов полностью принимаются только в том случае, если они подтверждены независимо. Общий совет относительно статистики таков: «Цифры никогда не лгут, а лжецы верят» (анонимно).

Определение терминов

См. Также: Обозначения вероятности и статистики.

Следующие определения в основном основаны на изложении книги Лемана и Романо:

• Статистическая гипотеза : утверждение о параметрах, описывающих популяцию (а не выборку ).
• Статистика теста: значение, рассчитанное на основе выборки без каких-либо неизвестных параметров, часто для обобщения выборки в целях сравнения.
• Простая гипотеза : любая гипотеза, которая полностью определяет распределение населения.
• Составная гипотеза: любая гипотеза, которая не определяет полностью распределение населения.
• Нулевая гипотеза (H ₀ )
• Положительные данные: данные, которые позволяют исследователю отвергнуть нулевую гипотезу.
• Альтернативная гипотеза (H ₁ )

Предположим, что данные могут быть реализованы из распределения N(0,1). Например, при выбранном уровне значимости α = 0,05 из Z-таблицы можно получить одностороннее критическое значение примерно 1,645. Одностороннее критическое значение C _α ≈ 1,645 соответствует выбранному уровню значимости. Критическая область [Cα _, ∞) реализуется как хвост стандартного нормального распределения.

• Критические значения s статистического теста — это границы приемлемой области теста. Область приемлемости — это набор значений тестовой статистики, для которых нулевая гипотеза не отвергается. В зависимости от формы приемной области может быть одно или несколько критических значений.
  • Область отторжения / Критическая область : набор значений тестовой статистики, для которых нулевая гипотеза отклоняется.
• Мощность теста (1 - β )
• Размер отклонения теста : для простых гипотез это вероятность неправильного нулевой гипотезы. Уровень ложноположительных результатов . Для составных гипотез это верхняя граница вероятности отклонения нулевой гипотезы во всех случаях, охватываемых нулевой гипотезой. Дополнение ложноположительных результатов называется специфичностью в биостатистике . («Это специфический тест. Поскольку результат положительный, мы можем с уверенностью сказать, что у пациента есть заболевание».) См. чувствительность и специфичность , а также ошибки типа I и типа II для получения исчерпывающих определений.
• Уровень значимости теста ( α)
• р -значение
• Тест статистической значимости : предшественник теста статистической гипотезы (см. раздел «Происхождение»). Экспериментальный результат считался статистически значимым , если выборка в достаточной степени не соответствовала (нулевой) гипотезе. По-разному это считалось здравым смыслом, прагматической эвристикой для выявления значимых экспериментальных результатов, соглашением, устанавливающим порог статистических данных или методом получения выводов на основе данных. Проверка статистической гипотезы добавила концепции математическую строгость и философскую последовательность, сделав альтернативную гипотезу явной. Этот термин широко используется для обозначения современной версии, которая сейчас является частью проверки статистических гипотез.
• Консервативный тест: тест является консервативным, если при его построении для данного номинального уровня значимости истинная вероятность неправильного отклонения нулевой гипотезы никогда не превышает номинальный уровень.
• Точный тест

Проверка статистической гипотезы сравнивает статистику теста ( z или t для примеров) с пороговым значением. Статистика теста (формула приведена в таблице ниже) основана на оптимальности. Для фиксированного уровня частоты ошибок типа I использование этой статистики минимизирует частоту ошибок типа II (эквивалентно максимизации мощности). Следующие термины описывают тесты с точки зрения такой оптимальности:

• Самый мощный тест: для данного размера или уровня значимости тест с наибольшей мощностью (вероятностью отклонения) для данного значения проверяемого параметра(ов), содержащегося в альтернативной гипотезе.
• Равномерно самый мощный тест (UMP)

Непараметрическая проверка гипотезы начальной загрузки

Основная статья: Начальная загрузка (статистика)

на основе бутстрапа Методы повторной выборки можно использовать для проверки нулевой гипотезы. Бутстрап создает множество смоделированных выборок путем случайной повторной выборки (с заменой) исходных объединенных выборочных данных, предполагая, что нулевая гипотеза верна. Бутстрап очень универсален, поскольку он не имеет распределения и не опирается на ограничительные параметрические предположения, а скорее на эмпирические приближенные методы с асимптотическими гарантиями. Традиционные параметрические тесты гипотез более эффективны в вычислительном отношении, но делают более строгие структурные предположения. В ситуациях, когда вычисление вероятности тестовой статистики при нулевой гипотезе затруднено или невозможно (возможно, из-за неудобства или отсутствия знания основного распределения), бутстрап предлагает жизнеспособный метод статистического вывода.

Примеры

Соотношение полов человека

Основная статья: Соотношение полов человека

Самое раннее использование проверки статистических гипотез обычно связано с вопросом о том, одинаково ли вероятны рождения мальчиков и девочек (нулевая гипотеза), который был рассмотрен в 1700-х годах Джоном Арбутнотом (1710). а позже Пьер-Симон Лаплас (1770-е).

Арбутнот изучил записи о рождении в Лондоне за каждый из 82 лет с 1629 по 1710 год и применил знаковый тест — простой непараметрический критерий . Ежегодно количество мужчин, рожденных в Лондоне, превышало количество женщин. Учитывая, что большее количество рождений мальчиков и девочек одинаково вероятно, вероятность наблюдаемого исхода равна 0,5. ⁸² , или примерно 1 из 4 836 000 000 000 000 000 000 000; говоря современным языком, это p -значение. Арбутнот пришел к выводу, что это слишком мало, чтобы быть результатом случайности, и вместо этого должно быть связано с божественным провидением: «Отсюда следует, что правит Искусство, а не Случай». Говоря современным языком, он отверг нулевую гипотезу о равной вероятности рождения мальчиков и девочек при p = 1/2. ⁸² уровень значимости.

Лаплас рассмотрел статистику почти полумиллиона рождений. Статистика показала преобладание мальчиков над девочками. он пришел к выводу Путем расчета значения p , что превышение было реальным, но необъяснимым эффектом.

Леди дегустирует чай

Основная статья: Леди дегустирует чай

В известном примере проверки гипотез, известном как « Леди, дегустирующая чай» , Доктор Мюриэл Бристоль , коллега Фишера, утверждала, что может определить, чай или молоко было добавлено в чашку первым. Фишер предложил подарить ей восемь чашек, по четыре каждого сорта, в случайном порядке. Тогда можно было бы спросить, какова вероятность того, что она назовет правильное число, но это просто случайно. Нулевая гипотеза заключалась в том, что у Леди не было такой способности. Статистика теста представляла собой простой подсчет количества успешных попыток выбрать 4 чашки. Критическая область представляла собой единственный случай 4 успехов из 4 возможных, основанных на общепринятом критерии вероятности (< 5%). Паттерн из 4 успехов соответствует 1 из 70 возможных комбинаций (р≈ 1,4%). Фишер утверждал, что никакая альтернативная гипотеза (никогда) не требовалась. Дама правильно определила каждую чашку, что можно было бы считать статистически значимым результатом.

Судебный процесс

Процедура статистического тестирования сравнима с уголовным судом ; Подсудимый считается невиновным, пока его вина не доказана. Прокурор пытается доказать вину подсудимого. Только тогда, когда имеется достаточно доказательств для обвинения, обвиняемый признается виновным.

В начале процедуры есть две гипотезы. $H_{0}$: «подсудимый не виновен», и $H_{1}$: «Подсудимый виновен». Первый, $H_{0}$, называется нулевой гипотезой . Второй, $H_{1}$, называется альтернативной гипотезой . Это альтернативная гипотеза, которую мы надеемся поддержать.

Гипотеза о невиновности отвергается только тогда, когда ошибка очень маловероятна, поскольку нежелательно осуждать невиновного обвиняемого. Такая ошибка называется ошибкой первого рода (т. е. осуждением невиновного лица), и возникновение этой ошибки контролируется, чтобы быть редким. Вследствие такого асимметричного поведения чаще встречается ошибка второго рода (оправдание лица, совершившего преступление).

	H 0 верно Действительно не виноват	H 1 верно Действительно виновен
Не отвергайте нулевую гипотезу Оправдание	Правильное решение	Неправильное решение Ошибка типа II
Отклонить нулевую гипотезу Убеждение	Неправильное решение Ошибка типа I	Правильное решение

Уголовный процесс можно рассматривать как один или оба из двух процессов принятия решений: виновен против невиновности или доказательства против порога («вне разумного сомнения»). С одной точки зрения, обвиняемого судят; с другой точки зрения, оценивается деятельность обвинения (которое несет бремя доказывания). Проверка гипотезы может рассматриваться либо как оценка гипотезы, либо как оценка доказательств.

Философские бобы

Следующий пример был приведен философом, описывающим научные методы за несколько поколений до того, как появилась проверка гипотез.формализована и популяризирована.

Лишь немногие зерна из этой горстки белые.
Большинство зерен в этом мешке белые.
Следовательно: Вероятно, эти бобы были взяты из другого мешка.
Это гипотетический вывод.

Бобы в мешке — это население. Горстка — это образец. Нулевая гипотеза состоит в том, что выборка возникла из генеральной совокупности. Критерием отклонения нулевой гипотезы является «очевидная» разница во внешнем виде (неформальная разница в среднем). Интересный результат заключается в том, что при рассмотрении реальной популяции и реальной выборки получился воображаемый мешок. Философ рассматривал логику, а не вероятность. Чтобы быть настоящей статистической проверкой гипотезы, этот пример требует формальностей расчета вероятности и сравнения этой вероятности со стандартом.

Простое обобщение примера рассматривает смешанный мешок фасоли и горсть, содержащую либо очень мало, либо очень много белой фасоли. Обобщение учитывает обе крайности. Для получения формального ответа требуется больше расчетов и сравнений, но основная философия остается неизменной; Если состав горсти сильно отличается от состава мешка, то, вероятно, образец был взят из другого мешка. Исходный пример называется односторонним или односторонним тестом, а обобщение называется двусторонним или двусторонним тестом.

Это утверждение также основано на выводе о том, что выборка была случайной. Если бы кто-то рылся в мешке в поисках белой фасоли, это объяснило бы, почему в горстке было так много белой фасоли, а также объяснило бы, почему количество белой фасоли в мешке исчерпалось (хотя предполагается, что в мешке предполагается, что намного больше ладони).

Ясновидящая карточная игра

Человек (субъект) проверяется на ясновидение . Им 25 раз показывают обратную сторону случайно выбранной игральной карты и спрашивают, к какой из четырех мастей она принадлежит. Количество попаданий или правильных ответов X. называется

Пока мы пытаемся найти доказательства их ясновидения, на данный момент нулевая гипотеза состоит в том, что этот человек не является ясновидящим. Альтернатива такова: человек (более или менее) ясновидящий.

Если нулевая гипотеза верна, единственное, что может сделать испытуемый, — это догадаться. Для каждой карты вероятность (относительная частота) появления одной масти равна 1/4. Если альтернатива верна, испытуемый правильно предскажет масть с вероятностью больше 1/4. Вероятность правильного угадывания будем называть p . Итак, гипотезы таковы:

• нулевая гипотеза ${\text{:}}\qquad H_{0}:p={\tfrac {1}{4}}$ (просто предполагаю)

и

• альтернативная гипотеза ${\text{:}}H_{1}:p>{\tfrac {1}{4}}$ (истинный ясновидящий).

Когда испытуемый правильно угадает все 25 карт, мы будем считать его ясновидящим и отвергнем нулевую гипотезу. Таким образом, также с 24 или 23 попаданиями. С другой стороны, при наличии всего лишь 5 или 6 попаданий нет оснований считать их таковыми. А как насчет 12 или 17 попаданий? Каково критическое число попаданий c , при котором мы считаем субъекта ясновидящим? Как определить критическое значение c ? При выборе c =25 (т.е. мы принимаем ясновидение только тогда, когда все карты предсказаны правильно) мы более критичны, чем при c =10. В первом случае ясновидящими не признаются почти ни один испытуемый, во втором - определенное количество пройдет тест. На практике каждый решает, насколько критичным он будет. То есть каждый решает, как часто он допускает ошибку первого рода – ложное срабатывание или ошибку I рода. При c = 25 вероятность такой ошибки равна:

$P({\text{reject }}H_{0}\mid H_{0}{\text{ is valid}})=P\left(X=25\mid p={\frac {1}{4}}\right)=\left({\frac {1}{4}}\right)^{25}\approx 10^{-15}$,

и, следовательно, очень маленький. Вероятность ложного срабатывания — это вероятность случайного угадывания правильно все 25 раз.

Менее критичный вариант с c = 10 дает:

$P({\text{reject }}H_{0}\mid H_{0}{\text{ is valid}})=P\left(X\geq 10\mid p={\frac {1}{4}}\right)=\sum _{k=10}^{25}P\left(X=k\mid p={\frac {1}{4}}\right)=\sum _{k=10}^{25}{\binom {25}{k}}\left(1-{\frac {1}{4}}\right)^{25-k}\left({\frac {1}{4}}\right)^{k}\approx 0.0713$.

Таким образом, c = 10 дает гораздо большую вероятность ложного срабатывания.

Перед фактическим проведением испытания максимально допустимая вероятность ошибки I рода ( α определяется ). Обычно выбираются значения в диапазоне от 1% до 5%. (Если максимально допустимая частота ошибок равна нулю, требуется бесконечное количество правильных предположений.) В зависимости от этой частоты ошибок типа 1 критическое значение c рассчитывается . Например, если мы выберем коэффициент ошибок 1%, c рассчитывается следующим образом:

$P({\text{reject }}H_{0}\mid H_{0}{\text{ is valid}})=P\left(X\geq c\mid p={\frac {1}{4}}\right)\leq 0.01$.

Из всех чисел с, обладающих этим свойством, выбираем наименьшее, чтобы минимизировать вероятность ошибки II рода, ложноотрицательный результат . Для приведенного выше примера мы выбираем: $c=13$.

Вариации и подклассы

Статистическая проверка гипотез является ключевым методом как частотного вывода, так и байесовского вывода , хотя эти два типа вывода имеют заметные различия. Статистические проверки гипотез определяют процедуру, которая контролирует (исправляет) вероятность неправильного решения о том, что позиция по умолчанию ( нулевая гипотеза ) неверна. Процедура основана на том, насколько вероятно было бы появление набора наблюдений, если бы нулевая гипотеза была верной. Эта вероятность принятия неправильного решения не является вероятностью того, что нулевая гипотеза верна или верна какая-либо конкретная альтернативная гипотеза. Это контрастирует с другими возможными методами теории принятия решений , в которых нулевая и альтернативная гипотезы рассматриваются на более равной основе.

Один из наивных байесовских подходов к проверке гипотез состоит в том, чтобы основывать решения на апостериорной вероятности . но это не удается при сравнении точечных и непрерывных гипотез. Другие подходы к принятию решений, такие как байесовская теория принятия решений , пытаются сбалансировать последствия неправильных решений по всем возможностям, а не концентрироваться на одной нулевой гипотезе. Ряд других подходов к принятию решения на основе данных доступен через теорию принятия решений и оптимальные решения , некоторые из которых обладают желаемыми свойствами. Однако проверка гипотез является доминирующим подходом к анализу данных во многих областях науки. Расширение теории проверки гипотез включает изучение силы тестов , т.е. вероятности правильного отклонения нулевой гипотезы при условии, что она ложна. Такие соображения можно использовать для определения размера выборки до сбора данных.

Проверка гипотезы Неймана – Пирсона

Пример проверки гипотезы Неймана-Пирсона (или проверки статистической значимости нулевой гипотезы) можно представить, изменив пример с радиоактивным чемоданом. Если «чемодан» на самом деле представляет собой экранированный контейнер для перевозки радиоактивного материала, то можно использовать тест для выбора одной из трех гипотез: радиоактивный источник отсутствует, присутствует один, присутствуют два (все). Испытание может потребоваться в целях безопасности, при этом действия необходимы в каждом случае. Лемма Неймана -Пирсона о проверке гипотез гласит, что хорошим критерием выбора гипотез является отношение их вероятностей ( отношение правдоподобия ). Простой метод решения — выбрать гипотезу с наибольшей вероятностью наблюдаемых чисел Гейгера. Типичный результат соответствует интуиции: небольшое количество подсчетов подразумевает отсутствие источника, большое количество подсчетов предполагает наличие двух источников, а промежуточные подсчеты подразумевают один источник. Обратите также внимание, что обычно возникают проблемы с доказательством отрицательного результата . Нулевые гипотезы должны быть как минимум фальсифицируемы .

Теория Неймана-Пирсона может учитывать как априорные вероятности, так и стоимость действий, следующих из решений. Первый позволяет каждому тесту учитывать результаты предыдущих тестов (в отличие от тестов значимости Фишера). Последнее позволяет учитывать экономические вопросы (например), а также вероятности. Отношение правдоподобия остается хорошим критерием выбора гипотез.

Две формы проверки гипотез основаны на разных формулировках задач. Исходный тест аналогичен вопросу «верно/неверно»; тест Неймана-Пирсона больше похож на множественный выбор. По мнению Тьюки первый делает вывод только на основе веских доказательств, а второй принимает решение на основе имеющихся доказательств. Хотя эти два теста кажутся совершенно разными как с математической, так и с философской точки зрения, более поздние разработки привели к противоположному утверждению. Рассмотрим множество крошечных радиоактивных источников. Гипотезы становятся 0,1,2,3... песчинками радиоактивного песка. Существует небольшая разница между отсутствием радиации или некоторым количеством радиации (Фишер) и нулевым количеством песчинок радиоактивного песка по сравнению со всеми альтернативами (Нейман-Пирсон). Основная статья Неймана – Пирсона 1933 года. также рассматриваются составные гипотезы (те, распределение которых включает неизвестный параметр). На примере доказана оптимальность t -критерия (Студента), «лучшего теста для рассматриваемой гипотезы не может быть» (стр. 321). Теория Неймана-Пирсона с самого начала доказывала оптимальность методов Фишера.

Проверка значимости Фишера оказалась популярным гибким статистическим инструментом с небольшим математическим потенциалом роста. Проверка гипотез Неймана-Пирсона считается основой математической статистики. создание новой парадигмы в этой области. Это также стимулировало новые применения в статистическом управлении процессами , теории обнаружения , теории принятия решений и теории игр . Обе формулировки оказались успешными, но успехи носили разный характер.

Спор по формулировкам не разрешен. Наука в основном использует формулировку Фишера (слегка измененную), как она преподается во вводной статистике. Статистики изучают теорию Неймана-Пирсона в аспирантуре. Математики гордятся объединением формулировок. Философы рассматривают их отдельно. Ученые считают, что эти формулировки по-разному конкурируют (Фишер против Неймана), несовместимы. или дополняющий. Спор стал более сложным, поскольку байесовский вывод приобрел респектабельность.

Терминология противоречива. Проверка гипотезы может означать любую смесь двух формулировок, каждая из которых изменилась со временем. Любое обсуждение проверки значимости и проверки гипотез вдвойне подвержено путанице.

Фишер считал, что проверка гипотез является полезной стратегией для осуществления промышленного контроля качества, однако он категорически не соглашался с тем, что проверка гипотез может быть полезна для ученых. Проверка гипотез предоставляет средства поиска статистики тестирования, используемой при проверке значимости. Концепция мощности полезна для объяснения последствий корректировки уровня значимости и широко используется при определении размера выборки . Эти два метода остаются философски разными. Обычно (но не всегда ) они дают один и тот же математический ответ. Предпочтительный ответ зависит от контекста. Хотя существующее слияние теорий Фишера и Неймана-Пирсона подверглось резкой критике, рассматривалась возможность изменения слияния для достижения байесовских целей.

Критика

См. Также: значение p § Неправильное использование.

Критика проверки статистических гипотез заполняет тома. Большую часть критики можно резюмировать следующими вопросами:

• Интерпретация значения p зависит от правила остановки и определения множественного сравнения. Первое часто меняется в ходе исследования, а второе неизбежно неоднозначно. (т.е. «значения p зависят как от наблюдаемых (данных), так и от других возможных (данных), которые могли бы наблюдаться, но не наблюдались»).
• Путаница, возникающая (частично) из-за объединения концептуально различных методов Фишера и Неймана-Пирсона.
• Акцент на статистической значимости, исключая оценку и подтверждение повторными экспериментами.
• Жесткое требование статистической значимости в качестве критерия публикации, что приводит к предвзятости публикации . Большая часть критики носит косвенный характер. Тестирование статистических гипотез не является ошибочным, а неправильно понимается, злоупотребляется и используется неправильно.
• При использовании для определения наличия различий между группами возникает парадокс. Поскольку в план эксперимента вносятся улучшения (например, повышается точность измерений и размер выборки), тест становится более мягким. Если не принять абсурдное предположение, что все источники шума в данных полностью компенсируются, вероятность найти статистическую значимость в любом направлении приближается к 100%. Однако это абсурдное предположение о том, что средняя разница между двумя группами не может быть нулевой, подразумевает, что данные не могут быть независимыми и одинаково распределенными (iid), поскольку ожидаемая разница между любыми двумя подгруппами случайных величин iid равна нулю; следовательно, предположение iid также абсурдно.
• Слои философских проблем. Вероятность статистической значимости является функцией решений, принятых экспериментаторами/аналитиками. Если решения основаны на условностях, их называют произвольными или бессмысленными. в то время как те, которые не основаны на этом, можно назвать субъективными. Чтобы свести к минимуму ошибки второго рода, рекомендуется использовать большие выборки. В психологии практически все нулевые гипотезы считаются ложными для достаточно больших выборок, поэтому «... обычно бессмысленно проводить эксперимент с единственной целью отвергнуть нулевую гипотезу». «Статистически значимые результаты часто вводят в заблуждение» в психологии. Статистическая значимость не подразумевает практическую значимость, а корреляция не подразумевает причинно-следственную связь . Ставить под сомнение нулевую гипотезу, таким образом, далеко от прямой поддержки исследовательской гипотезы.
• «[Я] не говорит нам того, что мы хотим знать». Доступны списки из десятков жалоб.

Критики и сторонники в основном сходятся во мнении относительно характеристик проверки значимости нулевой гипотезы (NHST): хотя она может предоставить критическую информацию, она неадекватна в качестве единственного инструмента статистического анализа . Успешное отклонение нулевой гипотезы может не поддержать исследовательскую гипотезу. Продолжающиеся споры касаются выбора лучших статистических практик на ближайшую перспективу с учетом существующих практик. Однако адекватный дизайн исследования может свести к минимуму эту проблему. Критики предпочли бы полностью запретить NHST, вынудив полностью отказаться от этой практики. в то время как сторонники предлагают менее абсолютные изменения.

Споры по поводу проверки значимости и ее влияния на предвзятость публикаций, в частности, привели к нескольким результатам. Американская психологическая ассоциация ужесточила свои требования к статистической отчетности после проверки. издатели медицинских журналов признали обязанность публиковать некоторые результаты, которые не являются статистически значимыми, для борьбы с предвзятостью публикаций, журнал ( Журнал статей в поддержку нулевой гипотезы ) исключительно для публикации таких результатов. и был создан В учебники добавлены некоторые предостережения, и более широкий охват инструментов, необходимых для оценки размера выборки, необходимой для получения значимых результатов. Лишь немногие крупные организации отказались от использования тестов значимости, хотя некоторые обсуждали это. Например, в 2023 году редакторы журнала « Физиология » «настоятельно рекомендуют использовать методы оценки тем, кто публикуется в журнале» (имеется в виду величина эффекта ( чтобы позволить читателям судить, имеет ли вывод практическое, физиологическое, или клиническая значимость) и доверительные интервалы, чтобы передать точность этой оценки), говоря: «В конечном счете, тех, кто публикует в «Журнале физиологии», должна больше всего интересовать физиологическая важность данных, а не статистическая значимость».

Альтернативы

Основная статья: Статистика оценок

См. Также: Доверительный интервал § Проверка статистической гипотезы.

Объединяющая позиция критиков заключается в том, что статистика должна приводить не к выводу или решению «принять-отклонить», а к оценочному значению с интервальной оценкой ; Эта философия анализа данных широко называется оценочной статистикой . Статистика оценки может быть получена с помощью частотного [1] или байесовского метода.

Критики проверки значимости выступают за то, чтобы выводы основывались не столько на p-значениях, сколько на доверительных интервалах для размеров эффекта по важности, интервалах прогнозирования для уверенности, повторениях и расширениях для воспроизводимости, метаанализе для общности: Но ни одна из этих предложенных альтернатив по своей сути не приводит к решению. Леманн сказал, что теория проверки гипотез может быть представлена ​​в терминах выводов/решений, вероятностей или доверительных интервалов: «Различие между... подходами во многом заключается в сообщении и интерпретации».

Байесовский вывод является одной из предлагаемых альтернатив проверке значимости. (Никерсон процитировал 10 источников, предполагающих это, включая Розебума (1960)). Например, оценка байесовских параметров может предоставить обширную информацию о данных, из которой исследователи могут сделать выводы, используя при этом неопределенные априорные данные , которые оказывают лишь минимальное влияние на результаты, когда доступно достаточно данных. Психолог Джон К. Крушке предложил байесовскую оценку в качестве альтернативы t -тесту. а также сравнил байесовскую оценку для оценки нулевых значений со сравнением байесовской модели для проверки гипотез. Две конкурирующие модели/гипотезы можно сравнить с использованием факторов Байеса . Байесовские методы можно критиковать за то, что они требуют информации, которая редко доступна в тех случаях, когда проверка значимости используется наиболее интенсивно. Ни априорные вероятности, ни распределение вероятностей тестовой статистики согласно альтернативной гипотезе часто недоступны в социальных науках.

Сторонники байесовского подхода иногда утверждают, что целью исследователя чаще всего является объективная оценка вероятности того, что гипотеза верна, на основе собранных им данных. Ни проверка проверка значимости Фишера, ни гипотезы Неймана-Пирсона не могут предоставить эту информацию и не претендуют на нее. Вероятность того, что гипотеза верна, может быть получена только на основе использования теоремы Байеса , которая была неудовлетворительной как для лагеря Фишера, так и для лагеря Неймана-Пирсона из-за явного использования субъективности в форме априорной вероятности . Стратегия Фишера состоит в том, чтобы обойти это с помощью p -значения (объективного индекса, основанного только на данных) с последующим индуктивным выводом , в то время как Нейман-Пирсон разработали свой подход индуктивного поведения .

См. также

• Статистика
• Задача Беренса – Фишера
• Начальная загрузка (статистика)
• Проверка честности монеты
• сравнения средних Дерево решений теста
• Полная пространственная случайность
• Контрноль
• Фальсифицируемость
• Метод Фишера для объединения независимых критериев значимости
• Причинность Грейнджер
• Эффект поиска в другом месте
• Проблема с модифицируемой единицей площади
• Изменяемая проблема временных единиц
• Многомерная проверка гипотез
• Тест всем
• Дихотомическое мышление
• Почти уверенная проверка гипотезы
• Информационный критерий Акаике
• Байесовский информационный критерий
• E-значения

Дальнейшее чтение

• Леманн Э.Л. (1992) «Введение в работу Неймана и Пирсона (1933) о проблеме наиболее эффективных проверок статистических гипотез». В: Прорывы в статистике, Том 1 , (Эдс Коц, С., Джонсон, Н.Л.), Springer-Verlag. ISBN   0-387-94037-5 (с последующим переизданием статьи)
• Нейман, Дж.; Пирсон, ES (1933). «К проблеме наиболее эффективной проверки статистических гипотез» . Философские труды Королевского общества А. 231 (694–706): 289–337. Бибкод : 1933RSPTA.231..289N . дои : 10.1098/rsta.1933.0009 .

Внешние ссылки

• «Статистические гипотезы, проверка» , Энциклопедия математики , EMS Press , 2001 [1994]
• Уилсон Гонсалес, Джорджина; Кей Шанкаран (10 сентября 1997 г.). «Проверка гипотез» . Учебное пособие по отбору проб и мониторингу окружающей среды . Вирджинский технологический институт.
• Байесовская критика проверки классической гипотезы
• Критика проверки классической гипотезы, подчеркивающая давние сомнения статистиков
• Даллал GE (2007) Маленький справочник статистической практики (хорошее учебное пособие)
• Ссылки на аргументы за и против проверки гипотез.
• Обзор статистических тестов: как выбрать правильный статистический тест
• [2] Метод проверки гипотез на основе статистического анализа при открытии биологических знаний; Доктор Насиф-Ур-Рахман Чоудхури, Суванкар Пол, Кази Закиа Султана

Онлайн калькуляторы

• Калькуляторы доверительного интервала и проверки гипотез MBAStats
• Некоторые калькуляторы p-значения и проверки гипотез .