Основы статистики
![]() | Тон или стиль этой статьи могут не отражать энциклопедический тон , используемый в Википедии . ( февраль 2023 г. ) |
Основы статистики состоят из математической и философской основы аргументов и выводов, сделанных с использованием статистики . Это включает в себя обоснование методов статистического вывода , оценки и проверки гипотез , количественную оценку неопределенности в выводах статистических аргументов и интерпретацию этих выводов в вероятностных терминах. Действительная основа может быть использована для объяснения статистических парадоксов, таких как парадокс Симпсона , обеспечения точного описания наблюдаемых статистических законов , [1] и руководить применением статистических выводов в социальных и научных приложениях .
Статистический вывод решает вопросы, связанные с анализом и интерпретацией данных. Примеры включают использование байесовского вывода вместо частого вывода ; различие между « «проверкой значимости» Фишера и Неймана - Пирсона проверкой гипотез» ; и принцип правдоподобия следует ли соблюдать . Некоторые из этих вопросов оставались предметом нерешенных дебатов на протяжении двух столетий. [2] Другие достигли прагматического консенсуса в отношении конкретных приложений, таких как использование байесовских методов для подбора сложных экологических моделей. [3]
Бандиопадхьяй и Форстер [4] описывают четыре статистические парадигмы : классическую статистику (или статистику ошибок), байесовскую статистику , статистику, основанную на правдоподобии , и использование информационного критерия Акаике в качестве статистической основы. Совсем недавно Джудея Перл вновь представила формальную математику для определения причинности в статистических системах, которая устраняет фундаментальные ограничения как байесовского метода, так и метода Неймана-Пирсона.
«Проверка значимости» Фишера против «проверки гипотезы» Пирсона Неймана -
Во второй четверти 20 века развитие классической статистики привело к появлению двух конкурирующих моделей индуктивного статистического тестирования . [5] [6] Достоинства этих моделей широко обсуждались. [7] более 25 лет до кончины Фишера. Хотя обычно преподается и используется гибридный подход, сочетающий элементы обоих методов, философские вопросы, поднятые в ходе дебатов, остаются нерешенными.
Проверка значимости [ править ]
Фишер сыграл значительную роль в популяризации проверки значимости посредством своих публикаций, таких как « Статистические методы для научных работников » в 1925 году и « План экспериментов » в 1935 году. [8] Его цель состояла в том, чтобы добиться результатов научных экспериментов без предвзятости по отношению к предыдущим мнениям. Проверка значимости – это вероятностная форма дедуктивного вывода , подобная Modus tollens . Упрощенную формулировку теста можно описать так: «Если доказательства в достаточной степени противоречат гипотезе , гипотеза отвергается». На практике статистика вычисляется на основе экспериментальных данных, и вероятность получения значения, превышающего эту статистику, в модели по умолчанию или « нулевой » модели сравнивается с заранее определенным порогом. Этот порог представляет собой требуемый уровень разногласий (обычно устанавливается соглашением). Одним из распространенных применений этого метода является определение того, имеет ли лечение заметный эффект, на основе сравнительного эксперимента . В этом случае нулевая гипотеза соответствует отсутствию эффекта лечения , подразумевая, что группа, получавшая лечение, и контрольная группа взяты из одной и той же популяции . Статистическая значимость измеряет вероятность и не учитывает практическую значимость. Его можно рассматривать как критерий статистической соотношение сигнал/шум . Важно отметить, что тест не может доказать гипотезу (об отсутствии эффекта лечения ), но может предоставить доказательства против нее. Метод основан на формулировании воображаемой бесконечной популяции, представляющей нулевую гипотезу, в рамках указанной статистической модели.
Критерий значимости Фишермана включает одну гипотезу, но выбор статистики теста требует понимания соответствующих направлений отклонения от гипотетической модели.
Проверка гипотез [ править ]
Нейман и Пирсон совместно работали над проблемой выбора наиболее подходящей гипотезы, основываясь исключительно на экспериментальных данных, которые отличались от проверки значимости. Их самая известная совместная статья, опубликованная в 1933 году, [9] ввел лемму Неймана-Пирсона , которая утверждает, что эффективным критерием выбора гипотезы служит соотношение вероятностей (при этом выбор порога произволен). В статье продемонстрирована оптимальность t-критерия Стьюдента , одного из тестов значимости. Нейман считал, что проверка гипотез представляет собой обобщение и улучшение проверки значимости. Обоснование их методов можно найти в их совместных работах. [10]
Проверка гипотез предполагает рассмотрение нескольких гипотез и выбор одной из них, что похоже на принятие решения с несколькими вариантами ответов. Отсутствие доказательств не является непосредственным фактором, который следует принимать во внимание. Метод основан на предположении о повторной выборке из одной и той же популяции (классическое предположение о более частом посещении), хотя Фишер критиковал это предположение. [11]
Основания для разногласий [ править ]
Продолжительность спора позволила всесторонне обсудить различные принципиальные вопросы в области статистики.
Пример обмена 1955–1956 . гг
Атака Фишера [12] [ редактировать ]
Повторная выборка одной и той же совокупности
- Такая выборка является основой более частой вероятности
- Фишер предпочитал доверительный вывод
Ошибки второго рода
- Что следует из альтернативной гипотезы
Индуктивное поведение
- (По сравнению с индуктивным рассуждением , предпочтение Фишера)
Опровержение Неймана [13] [ редактировать ]
Атака Фишера на индуктивное поведение оказалась во многом успешной, потому что он выбрал поле битвы. Хотя оперативные решения обычно принимаются на основе множества критериев (например, стоимости), научные выводы экспериментов обычно делаются только на основе вероятности.Теория фидуциарного вывода Фишера ошибочна
- Парадоксы – обычное дело
Чисто вероятностная теория тестов требует альтернативной гипотезы. Нападки Фишера на ошибки второго рода со временем утихли. За прошедшие годы статистика отделила исследовательское исследование от подтверждающего. В нынешних условиях концепция ошибок типа II используется в расчетах мощности для определения размера выборки подтверждающих гипотез .
Обсуждение [ править ]
Атака Фишера, основанная на более частой вероятности, не удалась, но не осталась без результата. Он выделил конкретный случай (таблица 2×2), когда две школы тестирования достигли разных результатов. Этот случай — один из нескольких, которые до сих пор вызывают беспокойство. Комментаторы полагают, что «правильный» ответ зависит от контекста. [14] Фидуциальная вероятность не преуспела, поскольку практически не имела сторонников, в то время как более частая вероятность остается основной интерпретацией.
Атака Фишера на индуктивное поведение оказалась во многом успешной, потому что он выбрал поле битвы. В то время как «оперативные решения» обычно принимаются на основе множества критериев (например, стоимости), «научные выводы» из экспериментов обычно делаются на основе одной только вероятности.
Во время этого разговора Фишер также обсудил требования к индуктивному выводу, в частности критикуя функции стоимости, которые наказывают ошибочные суждения. Нейман в ответ упомянул об использовании таких функций Гауссом и Лапласом. Эти споры возникли через 15 лет после того, как в учебниках начала преподаваться гибридная теория статистического тестирования.
Фишер и Нейман придерживались разных взглядов на основы статистики (хотя оба они выступали против байесовской точки зрения): [14]
- Интерпретация вероятности
- Разногласия между индуктивными рассуждениями Фишера и индуктивным поведением Неймана отражали разделение на байесовские частоты. Фишер был готов пересмотреть свое мнение (придя к предварительному выводу) на основе расчетной вероятности, в то время как Нейман был более склонен корректировать свое наблюдаемое поведение (принятие решения) на основе расчетных затрат.
- Соответствующая формулировка научных вопросов с особым упором на моделирование. [7] [15]
- Оправданно ли отвергать гипотезу, основанную на низкой вероятности, не зная вероятности альтернативы
- Можно ли когда-либо принять гипотезу, основываясь исключительно на данных
- В математике дедукция доказывает, а контрпримеры опровергают.
- В попперовской философии науки прогресс достигается тогда, когда теории опровергаются.
- Субъективность. Хотя Фишер и Нейман пытались свести к минимуму субъективность, они оба признавали важность «здравого суждения». Каждый обвинял другого в субъективности.
- Фишер субъективно выбрал нулевую гипотезу.
- Нейман-Пирсон субъективно определил критерий отбора (который не ограничивался вероятностью).
- Оба субъективно установили числовые пороги.
Фишер и Нейман расходились во взглядах и, возможно, в языке. Фишер был учёным и интуитивным математиком, и индуктивные рассуждения были для него естественными. Нейман, с другой стороны, был строгим математиком, который полагался на дедуктивные рассуждения, а не на расчеты вероятностей, основанные на экспериментах. [5] Следовательно, существовало естественное столкновение между прикладными и теоретическими подходами (между наукой и математикой).
Связанная история [ править ]
В 1938 году Нейман переехал на западное побережье Соединенных Штатов Америки, фактически прекратив свое сотрудничество с Пирсоном и их работу по проверке гипотез. [5] Последующие разработки в этой области осуществлялись другими исследователями.
К 1940 году в учебниках начал предлагаться гибридный подход, сочетающий в себе элементы проверки значимости и проверки гипотез. [16] Однако ни один из основных участников не принимал непосредственного участия в дальнейшем развитии гибридного подхода, который в настоящее время преподается во вводной статистике. [6]
Впоследствии статистика развилась в различные направления, включая теорию принятия решений, байесовскую статистику, исследовательский анализ данных, робастную статистику и непараметрическую статистику. Проверка гипотезы Неймана-Пирсона внесла значительный вклад в теорию принятия решений, которая широко используется, особенно в статистическом контроле качества. Проверка гипотез также расширила сферу ее применения, включив в нее априорные вероятности, придав ей байесовский характер. Хотя проверка гипотез Неймана-Пирсона превратилась в абстрактный математический предмет, преподаваемый на уровне аспирантов, [17] Большая часть того, чему учат и используют в бакалавриате под эгидой проверки гипотез, можно приписать Фишеру.
Современное мнение [ править ]
В последние десятилетия между двумя классическими школами тестирования не было серьезных конфликтов, хотя время от времени критика и споры сохраняются. Однако маловероятно, что одна теория статистического тестирования полностью вытеснит другую в обозримом будущем.
Гибридный подход, сочетающий в себе элементы обеих конкурирующих школ тестирования, можно интерпретировать по-разному. Некоторые рассматривают это как объединение двух математически дополняющих друг друга идей. [14] в то время как другие видят в этом ошибочный союз философски несовместимых концепций. [18] Подход Фишера имел определенные философские преимущества, в то время как Нейман и Пирсон делали упор на строгую математику. Проверка гипотез остается предметом споров для некоторых пользователей, но наиболее широко распространенный альтернативный метод — доверительные интервалы — основан на тех же математических принципах.
Из-за исторического развития тестирования не существует единого авторитетного источника, который полностью описывал бы гибридную теорию в том виде, в котором она обычно практикуется в статистике. Кроме того, терминология, используемая в этом контексте, может быть непоследовательной. Эмпирические данные показывают, что отдельные лица, в том числе студенты и преподаватели вводных курсов по статистике, часто имеют ограниченное понимание смысла проверки гипотез. [19]
Резюме [ править ]
- Интерпретация вероятности остается нерешенной, хотя фидуциарная вероятность не получила широкого распространения.
- Ни один из методов испытаний не был полностью заброшен, поскольку они широко используются для различных целей.
- В учебниках оба метода тестирования включены в рамки проверки гипотез.
- Некоторые математики, за некоторыми исключениями, утверждают, что проверку значимости можно рассматривать как частный случай проверки гипотез.
- С другой стороны, некоторые воспринимают эти проблемы и методы как отдельные или несовместимые.
- Продолжающийся спор нанес ущерб статистическому образованию.
вывод против вывода частого Байесовский
В течение долгого времени существовали две различные интерпретации вероятности: одна основана на объективных доказательствах, а другая — на субъективной степени убежденности. Спор между Гауссом и Лапласом мог состояться более 200 лет назад, породив две конкурирующие школы статистики. Классическая инференциальная статистика возникла преимущественно во второй четверти 20 века. [6] в основном в ответ на спорный принцип безразличия, использовавшийся в байесовской теории вероятности в то время . Возрождение байесовского вывода было реакцией на ограничения частой вероятности, что привело к дальнейшему развитию и реакциям.
Хотя философские интерпретации имеют долгую историю, специфическая статистическая терминология появилась относительно недавно. Термины «байесовский» и «частый» стали стандартизированы во второй половине 20 века. [20] Однако терминология может сбивать с толку, поскольку «классическая» интерпретация вероятности соответствует байесовским принципам, в то время как «классическая» статистика следует часто используемому подходу. Более того, даже внутри термина «самый частый» существуют различия в интерпретации, различающиеся в философии и физике.
Сложные детали философских интерпретаций вероятностей исследуются в других источниках. В области статистики эти альтернативные интерпретации позволяют анализировать различные наборы данных с использованием разных методов, основанных на различных моделях, с целью достижения несколько разных целей. При сравнении конкурирующих школ в статистике принимаются во внимание прагматические критерии, выходящие за рамки философских соображений.
Основные участники [ править ]
Фишер и Нейман сыграли важную роль в разработке частотных (классических) методов. [5] В то время как Фишер имел уникальную интерпретацию вероятности, отличавшуюся от байесовских принципов, Нейман строго придерживался частотного подхода. В области байесовской статистической философии, математики и методов де Финетти [21] Джеффрис , [22] и Сэвидж [23] внесли заметный вклад в 20 веке. Сэвидж сыграл решающую роль в популяризации идей де Финетти в англоязычных регионах и создании строгой байесовской математики. В 1965 году двухтомная работа Денниса Линдли под названием «Введение в вероятность и статистику с байесовской точки зрения» сыграла жизненно важную роль в представлении широкой аудитории байесовских методов. За три поколения статистика значительно продвинулась вперед, и взгляды первых авторов не обязательно считаются авторитетными в настоящее время.
Контрастные подходы [ править ]
Частый вывод [ править ]
В более раннем описании кратко освещаются частые выводы, которые включают в себя «проверку значимости» Фишера и «проверку гипотезы» Неймана-Пирсона. Частые выводы включают в себя различные точки зрения и позволяют делать научные выводы, оперативные решения и оценивать параметры с доверительными интервалами или без них .
Байесовский вывод [ править ]
Классическое распределение частот предоставляет информацию о вероятности наблюдаемых данных. Применяя теорему Байеса , вводится более абстрактная концепция, которая предполагает оценку вероятности гипотезы (связанной с теорией) с учетом данных. Эта концепция, ранее называвшаяся «обратной вероятностью», реализуется посредством байесовского вывода. Байесовский вывод включает обновление оценки вероятности гипотезы по мере появления новых доказательств. Он явно учитывает как доказательства, так и предыдущие убеждения, что позволяет включать несколько наборов доказательств.
Сравнение характеристик [ править ]
Частотники и байесовцы используют разные вероятностные модели. Частые обычно рассматривают параметры как фиксированные, но неизвестные, тогда как байесовцы приписывают этим параметрам распределения вероятностей. В результате байесианцы обсуждают вероятности, которые часто не признаются. Байесианцы рассматривают вероятность теории, тогда как истинные частотисты могут только оценить соответствие доказательств теории. Например, часто не утверждается, что с вероятностью 95% истинное значение параметра попадает в доверительный интервал; скорее, они заявляют, что 95% доверительных интервалов охватывают истинное значение.
Байесовский | Частотный | |
---|---|---|
Основа | Вера (ранее) | Поведение (метод) |
Результирующая характеристика | Принципиальная философия | Оппортунистические методы |
Распределения | Одна раздача | Многие дистрибутивы (начальная загрузка?) |
Идеальное применение | Динамический (повторяющаяся выборка) | Статический (один образец) |
Целевая аудитория | Индивидуальный (субъективный) | Сообщество (цель) |
Модельная характеристика | Агрессивный | Оборонительный |
Байесовский | Частотный | |
---|---|---|
Сильные стороны |
|
|
Слабые стороны |
|
|
результаты Математические
И частая, и байесовская школы подвергаются математической критике, и ни одна из них не принимает такую критику с готовностью. Например, парадокс Штейна подчеркивает сложность определения «плоского» или «неинформативного» априорного распределения вероятностей в многомерных пространствах. [2] Хотя байесовцы воспринимают это как нечто отходящее от их фундаментальной философии, они часто сталкиваются с противоречиями, парадоксами и неблагоприятным математическим поведением. Частые путешественники могут объяснить большинство этих проблем. Некоторые «проблемные» сценарии, такие как оценка изменчивости веса стада слонов на основе одного измерения («слоны Басу»), служат примерами крайних случаев, которые не поддаются статистической оценке. Принцип правдоподобия был спорной областью дискуссий.
результаты Статистические
И частая, и байесовская школы продемонстрировали заметные достижения в решении практических задач. Классическая статистика, опирающаяся на механические калькуляторы и специализированные печатные таблицы, может похвастаться более длительной историей получения результатов. С другой стороны, байесовские методы показали замечательную эффективность при анализе последовательно выборочной информации, такой как данные радаров и гидролокаторов. Некоторые байесовские методы, а также некоторые распространенные в последнее время методы, такие как бутстреп, требуют вычислительных возможностей, которые стали широко доступны за последние несколько десятилетий. Продолжается дискуссия об интеграции байесовского и часто встречающихся подходов. [25] хотя были высказаны опасения относительно интерпретации результатов и потенциального уменьшения методологического разнообразия.
результаты Философские
Байесовцы разделяют общую позицию против ограничений частоты, но они разделены на различные философские лагеря (эмпирические, иерархические, объективные, личные и субъективные), каждый из которых подчеркивает разные аспекты. Философ статистики с точки зрения частого подхода наблюдал переход от статистической области к философским интерпретациям вероятности за последние два поколения. [27] Некоторые считают, что успехи, достигнутые с помощью байесовских приложений, недостаточно оправдывают соответствующую философскую структуру. [28] Байесовские методы часто разрабатывают практические модели, которые отклоняются от традиционных выводов и минимально полагаются на философию. [29] Ни распространенные, ни байесовские философские интерпретации вероятности не могут считаться полностью надежными. Распространенную точку зрения критикуют за то, что она является чрезмерно жесткой и ограничительной, в то время как байесовская точка зрения может включать, среди прочего, как объективные, так и субъективные элементы.
Иллюстративные цитаты [ править ]
- «При осторожном использовании частый подход дает широко применимые, хотя иногда и неуклюжие ответы» [30]
- «Настаивание на несмещенных [частых] методах может привести к отрицательным (но непредвзятым) оценкам дисперсии; использование p-значений в нескольких тестах может привести к явным противоречиям; обычные доверительные области 0,95 могут состоять из всей реальной линии. Неудивительно, что что математикам часто трудно поверить, что традиционные статистические методы являются разделом математики». [31]
- «Байесианство — это аккуратная и полностью принципиальная философия, в то время как частность — это набор оппортунистических, индивидуально оптимальных методов». [24]
- «В многопараметрических задачах плоские априоры могут давать очень плохие ответы» [30]
- « Правило Байеса гласит, что существует простой и элегантный способ объединить текущую информацию с предыдущим опытом, чтобы определить, насколько много известно. Оно подразумевает, что достаточно хорошие данные приведут ранее разрозненных наблюдателей к соглашению. Оно полностью использует доступную информацию и он вырабатывает решения с минимально возможной частотой ошибок». [32]
- «Байесовская статистика предназначена для формулирования вероятностных утверждений, частая статистика — для оценки вероятностных утверждений». [33]
- «Статистики часто оказываются в ситуации, напоминающей парадокс Эрроу, когда нас просят предоставить информативные и объективные оценки, а также достоверные утверждения, которые являются правильными при условии наличия данных, а также лежащего в их основе истинного параметра». [33] (Это противоречивые требования.)
- «Формальные аспекты вывода часто составляют относительно небольшую часть статистического анализа» [30]
- «Две философии, байесовская и частая, скорее ортогональны, чем противоположны». [24]
- «Гипотеза, которая может быть верной, отвергается, поскольку она не смогла предсказать наблюдаемые результаты, которых не было. Это кажется замечательной процедурой». [22]
Резюме [ править ]
- Байесовская теория имеет математическое преимущество.
- Частая вероятность имеет проблемы существования и непротиворечивости.
- Но найти хорошие априоры для применения байесовской теории по-прежнему (очень?) сложно.
- Обе теории имеют впечатляющие результаты успешного применения.
- Ни философская интерпретация вероятности, ни ее обоснование не являются надежными.
- Растет скептицизм по поводу связи между применением и философией.
- Некоторые статистики рекомендуют активное сотрудничество (помимо прекращения огня).
Принцип правдоподобия [ править ]
В обычном использовании вероятность часто считается синонимом вероятности. Однако, по статистике, это не так. В статистике вероятность относится к переменным данным при фиксированной гипотезе, тогда как вероятность относится к переменным гипотезам при фиксированном наборе данных. Например, при повторных измерениях с помощью линейки при фиксированных условиях каждый набор наблюдений соответствует распределению вероятностей, и наблюдения можно рассматривать как выборку из этого распределения после частой интерпретации вероятности. С другой стороны, набор наблюдений может также возникнуть в результате выборки различных распределений на основе разных условий наблюдения. Вероятностная связь между фиксированной выборкой и переменным распределением, вытекающая из переменной гипотезы, называется правдоподобием и представляет собой байесовский взгляд на вероятность. Например, набор измерений длины может представлять собой показания, снятые наблюдателями с конкретными характеристиками и условиями.
Вероятность - это концепция, которая была введена и разработана Фишером на протяжении более 40 лет, хотя существуют более ранние ссылки на эту концепцию, и Фишер ее не поддерживал всерьез. [34] Концепция была впоследствии принята и существенно переработана Джеффрисом . [35] В 1962 году Бирнбаум «доказал» принцип правдоподобия, основанный на предпосылках, широко принятых статистиками: [36] хотя его доказательство оспаривалось статистиками и философами. Примечательно, что к 1970 году Бирнбаум отверг одну из этих предпосылок ( принцип обусловленности ), а также отказался от принципа правдоподобия из-за их несовместимости с часто встречающейся «концепцией достоверности статистических данных». [37] [38] Принцип правдоподобия утверждает, что вся информация в выборке содержится в функции правдоподобия , которую байесовцы считают действительным распределением вероятностей, но не частостью.
Некоторые тесты значимости, используемые частотниками, не соответствуют принципу правдоподобия. Байесовцы, с другой стороны, принимают этот принцип, поскольку он соответствует их философской точке зрения (возможно, в ответ на частый дискомфорт). Подход правдоподобия совместим с байесовским статистическим выводом, где апостериорное распределение Байеса для параметра получается путем умножения априорного распределения на функцию правдоподобия с использованием теоремы Байеса. [34] Часто интерпретируют принцип правдоподобия неблагоприятно, поскольку он предполагает отсутствие заботы о надежности доказательств. Принцип правдоподобия, согласно байесовской статистике, подразумевает, что информация о схеме эксперимента, используемая для сбора доказательств, не учитывается при статистическом анализе данных. [39] Некоторые байесовцы, в том числе Сэвидж, [ нужна ссылка ] признать это следствие уязвимостью.
Самые ярые сторонники принципа правдоподобия утверждают, что он обеспечивает более прочную основу для статистики по сравнению с альтернативами, представленными байесовским и частыми подходами. [40] В число этих сторонников входят некоторые статистики и философы науки. [41] Хотя байесовцы признают важность правдоподобия для вычислений, они утверждают, что апостериорное распределение вероятностей служит подходящей основой для выводов. [42]
Моделирование [ править ]
Инференциальная статистика опирается на статистические модели . Например, классическая проверка гипотез часто основывалась на предположении о нормальности данных. Чтобы уменьшить зависимость от этого предположения, была разработана робастная и непараметрическая статистика. С другой стороны, байесовская статистика интерпретирует новые наблюдения на основе предшествующих знаний, предполагая преемственность между прошлым и настоящим. План эксперимента предполагает некоторое знание факторов, которые необходимо контролировать, варьировать, рандомизировать и наблюдать. Статистики осознают проблемы установления причинно-следственной связи и часто заявляют, что « корреляция не подразумевает причинно-следственную связь », что является скорее ограничением в моделировании, чем математическим ограничением.
Поскольку статистика и наборы данных стали более сложными, [а] [б] возникли вопросы относительно обоснованности моделей и выводов, сделанных на их основе. Существует широкий спектр противоречивых мнений по поводу моделирования.
Модели могут быть основаны на научной теории или специальном анализе данных, в каждой из которых используются разные методы. У каждого подхода есть сторонники. [44] Сложность модели — это компромисс, и менее субъективные подходы, такие как информационный критерий Акаике и байесовский информационный критерий, направлены на достижение баланса. [45]
Были высказаны опасения даже по поводу простых моделей регрессии, используемых в социальных науках, поскольку множество предположений, лежащих в основе достоверности моделей, часто не упоминаются и не проверяются. В некоторых случаях благоприятное сравнение наблюдений и модели считается достаточным. [46]
Байесовская статистика настолько фокусируется на апостериорной вероятности, что игнорирует фундаментальное сравнение наблюдений и модели. [ сомнительно – обсудить ] [29]
Традиционные модели, основанные на наблюдениях, часто не справляются со многими важными проблемами, требуя использования более широкого спектра моделей, в том числе алгоритмических. «Если модель представляет собой плохую имитацию природы, выводы могут быть неверными». [47]
Моделирование часто осуществляется неадекватно, с использованием неправильных методов, а отчетность о моделях зачастую не соответствует требованиям. [48]
Учитывая отсутствие твердого консенсуса по поводу философского обзора статистического моделирования, многие статистики придерживаются предостерегающих слов Джорджа Бокса : « Все модели неверны , но некоторые из них полезны » .
Другое чтение [ править ]
Краткое введение в основы статистики можно найти у Stuart, A.; старый, Дж. К. (1994). «Глава 8 – Вероятность и статистический вывод» в «Передовой теории статистики» Кендалла, том I: Теория распределения (6-е изд.), опубликованной Эдвардом Арнольдом .
В своей книге «Статистика как принципиальный аргумент » Роберт П. Абельсон представляет точку зрения, согласно которой статистика служит стандартизированным методом разрешения разногласий между учеными, которые в противном случае могли бы участвовать в бесконечных дебатах о достоинствах своих позиций. С этой точки зрения статистику можно рассматривать как форму риторики. Однако эффективность статистических методов зависит от консенсуса всех участвующих сторон относительно выбранного подхода. [49]
См. также [ править ]
Сноски [ править ]
- ^ Некоторые крупные модели пытаются предсказать поведение избирателей в Соединенных Штатах Америки. Население составляет около 300 миллионов человек. На каждого избирателя может влиять множество факторов. О некоторых сложностях поведения избирателей (наиболее понятных местным жителям) см.: Гельман. [43]
- ^ Эфрон (2013) упоминает миллионы точек данных и тысячи параметров научных исследований. [24]
Цитаты [ править ]
- ^ Китчер и Лосось (2009) стр.51
- ^ Jump up to: Перейти обратно: а б Эфрон 1978 .
- ^ ван де Шут, Ренс; Депаоли, Сара; Король, Рут; Крамер, Бьянка; Мартенс, Каспар; Тадессе, Махлет Г.; Ваннуччи, Марина; Гельман, Эндрю; Вин, Дуко; Виллемсен, Юкье; Яу, Кристофер (14 января 2021 г.). «Байесовская статистика и моделирование» . Учебники по методам Nature Reviews . 1 (1). дои : 10.1038/s43586-020-00001-2 . hdl : 20.500.11820/9fc72a0b-33e4-4a9c-bdb7-d88dab16f621 . ISSN 2662-8449 .
- ^ Bandyopadhyay & Forster 2011 .
- ^ Jump up to: Перейти обратно: а б с д Леманн 2011 .
- ^ Jump up to: Перейти обратно: а б с Гигеренцер и др. 1989 год .
- ^ Jump up to: Перейти обратно: а б Луса 2008 .
- ^ Фишер 1956 .
- ^ Нейман и Пирсон 1933 .
- ^ Нейман и Пирсон 1967 .
- ^ Рубин, М (2020). « Повторяющаяся выборка из одной и той же популяции?» Критика ответов Неймана и Пирсона Фишеру» . Европейский журнал философии науки . 10 (42): 1–15. дои : 10.1007/s13194-020-00309-6 . S2CID 221939887 .
- ^ Фишер 1955 .
- ^ Нейман 1956 .
- ^ Jump up to: Перейти обратно: а б с Леманн 1993 .
- ^ Ленхард 2006 .
- ^ Халпин и Стэм 2006 .
- ^ Леманн и Романо 2005 .
- ^ Хаббард и Баярри ок. 2003 .
- ^ Сотос и др. 2007
- ^ Финберг 2006 .
- ^ Финетти 1964 .
- ^ Jump up to: Перейти обратно: а б Джеффрис 1939 .
- ^ Сэвидж 1972 .
- ^ Jump up to: Перейти обратно: а б с д Эфрон 2013 .
- ^ Jump up to: Перейти обратно: а б Маленький 2006 год .
- ^ Yu 2009 .
- ^ Мэйо 2013 .
- ^ Где-то 2011 г.
- ^ Jump up to: Перейти обратно: а б Гельман и Шализи 2012 .
- ^ Jump up to: Перейти обратно: а б с Кокс 2005 .
- ^ Бернардо 2008 .
- ^ Касс ок. 2012 г.
- ^ Jump up to: Перейти обратно: а б Гельман 2008 .
- ^ Jump up to: Перейти обратно: а б Эдвардс 1999 .
- ^ Олдрич 2002 .
- ^ Бирнбаум 1962 .
- ^ Бирнбаум, А., (1970) Статистические методы в научных выводах. Nature , 225, 14 марта 1970 г., стр. 1033.
- ^ Гир, Р. (1977) Концепция статистических данных Аллана Бирнбаума. Синтез , 36, стр. 5-13.
- ^ Хилл 1999 .
- ^ Форстер и Собер 2001 .
- ^ Роялл 1997 .
- ^ Линдли 2000 .
- ^ Гельман. «Красно-синий разговор UBC» (PDF) . Статистика. Колумбийский университет. Архивировано (PDF) оригиналом 6 октября 2013 г. Проверено 16 сентября 2013 г.
- ^ Tabachnick & Fidell 1996 .
- ^ Форстер и Собер 1994 .
- ^ Фридман 1995 .
- ^ Брейман 2001 .
- ^ Подбородок и .
- ^ Абельсон, Роберт П. (1995). Статистика как принципиальный аргумент . Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-0-8058-0528-4 .
... цель статистики - организовать полезный аргумент на основе количественных данных, используя форму принципиальной риторики.
Ссылки [ править ]
- Олдрич, Джон (2002). «Как вероятность и идентификация стали байесовскими» (PDF) . Международный статистический обзор . 70 (1): 79–98. дои : 10.1111/j.1751-5823.2002.tb00350.x . S2CID 15435919 .
- Бакке, Эндрю (1999). «Принцип правдоподобия и надежность экспериментов». Философия науки . 66 : S354–S361. дои : 10.1086/392737 . S2CID 15822883 .
- Бандиопадхьяй, Прасанта; Форстер, Малькольм, ред. (2011). Философия статистики . Справочник по философии науки. Том. 7. Оксфорд: Северная Голландия. ISBN 978-0444518620 . Текст представляет собой сборник эссе.
- Бергер, Джеймс О. (2003). «Могли ли Фишер, Джеффрис и Нейман договориться о тестировании?» . Статистическая наука . 18 (1): 1–32. дои : 10.1214/ss/1056397485 .
- Бернардо, Хосе М. (2008). «Комментарий к статье Гельмана» . Байесовский анализ . 3 (3): 453. doi : 10.1214/08-BA318REJ .
- Бирнбаум, А. (1962). «Об основах статистического вывода». Дж. Амер. Статист. доц . 57 (298): 269–326. дои : 10.1080/01621459.1962.10480660 .
- Брейман, Лео (2001). «Статистическое моделирование: две культуры» . Статистическая наука . 16 (3): 199–231. дои : 10.1214/сс/1009213726 .
- Чин, Винн В. (nd). «Моделирование структурными уравнениями в исследованиях информационных систем — понимание перспективы LISREL и PLS» . Архивировано из оригинала 20 июля 2011 г. Проверено 16 сентября 2013 г. Конспекты лекций Хьюстонского университета?
- Кокс, Д.Р. (2005). «Частотная и байесовская статистика: критика». Статистические проблемы физики элементарных частиц, астрофизики и космологии . ФИСТАТ05. CiteSeerX 10.1.1.173.4608 .
- де Финетти, Бруно (1964). «Форсайт: его логические законы, его субъективные источники». В Кибурге, HE (ред.). Исследования субъективной вероятности . ОН Смоклер. Нью-Йорк: Уайли. стр. 93–158. Перевод французского оригинала 1937 года с добавленными более поздними примечаниями.
- Эдвардс, AWF (1999). «Вероятность» . Архивировано из оригинала 26 января 2020 г. Проверено 16 сентября 2013 г. Предварительная версия статьи для Международной энциклопедии социальных и поведенческих наук.
- Эфрон, Брэдли (2013). «250-летний аргумент: убеждения, поведение и бутстреп» . Бюллетень Американского математического общества . Новая серия. 50 (1): 129–146. дои : 10.1090/s0273-0979-2012-01374-5 .
- Эфрон, Брэдли (1978). «Споры в основах статистики» (PDF) . Американский математический ежемесячник . 85 (4): 231–246. дои : 10.2307/2321163 . JSTOR 2321163 . Архивировано из оригинала (PDF) 14 июля 2010 года . Проверено 1 ноября 2012 г.
- Финберг, Стивен Э. (2006). «Когда байесовский вывод стал «байесовским»?» . Байесовский анализ . 1 (1): 1–40. дои : 10.1214/06-ba101 .
- Фишер, Р.А. (1925). Статистические методы для научных работников . Эдинбург: Оливер и Бойд.
- Фишер, Рональд А., сэр (1935). План экспериментов . Эдинбург: Оливер и Бойд.
{{cite book}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - Фишер, Р. (1955). «Статистические методы и научная индукция» (PDF) . Журнал Королевского статистического общества, серия B. 17 (1): 69–78.
- Фишер, Рональд А., сэр (1956). Логика научного вывода . Эдинбург: Оливер и Бойд.
{{cite book}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - Форстер, Малькольм; Трезвый, Эллиотт (1994). «Как определить, когда более простые, более унифицированные или менее специальные теории дадут более точные прогнозы». Британский журнал философии науки . 45 (1): 1–36. дои : 10.1093/bjps/45.1.1 .
- Форстер, Малькольм; Трезвый, Эллиотт (2001). «Почему вероятность». Вероятность и доказательства : 89–99.
- Фридман, Дэвид (март 1995 г.). «Некоторые вопросы основания статистики». Основы науки . 1 (1): 19–39. дои : 10.1007/BF00208723 .
- Гельман, Эндрю (2008). «Ответ» . Байесовский анализ . 3 (3): 467–478. doi : 10.1214/08-BA318REJ . – Шутка переросла в серьёзное обсуждение байесовских проблем 5 авторами (Гельманом, Бернардо, Кадане, Сенном, Вассерманом) на страницах 445-478.
- Гельман, Эндрю; Шализи, Косма Рохилла (2012). «Философия и практика байесовской статистики» . Британский журнал математической и статистической психологии . 66 (1): 8–38. arXiv : 1006.3868 . дои : 10.1111/j.2044-8317.2011.02037.x . ПМЦ 4476974 . ПМИД 22364575 .
- Гигеренцер, Герд ; Свитинк, Зенон; Портер, Теодор; Дастон, Лоррейн; Битти, Джон; Крюгер, Лоренц (1989). «Часть 3: Эксперты по выводам». Империя случая: как вероятность изменила науку и повседневную жизнь . Издательство Кембриджского университета. стр. 70–122. ISBN 978-0-521-39838-1 .
- Халпин, П.Ф.; Стам, HJ (зима 2006 г.). «Индуктивный вывод или индуктивное поведение: Фишер и Нейман: Пирсон подходит к статистическому тестированию в психологических исследованиях (1940–1960)». Американский журнал психологии . 119 (4): 625–653. дои : 10.2307/20445367 . JSTOR 20445367 . ПМИД 17286092 .
- Хаббард, Раймонд; Баярри, MJ (ок. 2003 г.). « P -значения не являются вероятностью ошибки» (PDF) . Архивировано из оригинала (PDF) 4 сентября 2013 года . Проверено 3 сентября 2013 г. - Рабочий документ, объясняющий разницу между доказательным значением p Фишера и частотой ошибок Неймана-Пирсона типа I. .
- Джеффрис, Х. (1939). Теория вероятностей . Издательство Оксфордского университета.
- Касс (ок. 2012 г.). «Почему правление Байеса не только привлекло внимание стольких людей, но и неоднократно на протяжении многих лет вызывало религиозную преданность и споры?» (PDF) .
- Леманн, Э.Л. (декабрь 1993 г.). «Теории Фишера, Неймана-Пирсона о проверке гипотез: одна теория или две?». Журнал Американской статистической ассоциации . 88 (424): 1242–1249. дои : 10.1080/01621459.1993.10476404 .
- Леманн, Э.Л. (2011). Фишер, Нейман и создание классической статистики . Нью-Йорк: Спрингер. ISBN 978-1441994998 .
- Леманн, Эль; Романо, Джозеф П. (2005). Проверка статистических гипотез (3-е изд.). Нью-Йорк: Спрингер. ISBN 978-0-387-98864-1 .
- Ленхард, Йоханнес (2006). «Модели и статистические выводы: противоречие между Фишером и Нейманом-Пирсоном». Бр. Дж. Филос. Наука . 57 (1): 69–91. CiteSeerX 10.1.1.399.1622 . дои : 10.1093/bjps/axi152 . JSTOR 3541653 .
- Линдли, Д.В. (2000). «Философия статистики». Журнал Королевского статистического общества, серия D. 49 (3): 293–337. дои : 10.1111/1467-9884.00238 .
- Литтл, Родерик Дж. (2006). «Калиброванный Байес: дорожная карта Байеса / частотного анализа». Американский статистик . 60 (3): 213–223. дои : 10.1198/000313006X117837 . JSTOR 27643780 . S2CID 53505632 .
- Лусан, Франциско (2008). «Должна ли возникнуть самая широкая трещина в статистике: как и почему Фишер выступил против Неймана и Пирсона» (PDF) . Рабочий документ содержит многочисленные цитаты из источников спора.
- Мэйо, Дебора Г. (февраль 2013 г.). «Дискуссия: Байесовские методы: применяются? Да. Философская защита? В движении». Американский статистик . 67 (1): 11–15. дои : 10.1080/00031305.2012.752410 . S2CID 11215443 .
- Нейман, Дж .; Пирсон, Э.С. (1 января 1933 г.). «К проблеме наиболее эффективной проверки статистических гипотез» . Фил. Пер. Р. Сок. Лонд. А. 231 (694–706): 289–337. Бибкод : 1933RSPTA.231..289N . дои : 10.1098/rsta.1933.0009 .
- Нейман, Дж.; Пирсон, ES (1967). Совместные статистические работы Дж. Неймана и Э.С. Пирсона . Издательство Кембриджского университета.
- Нейман, Ежи (1956). «Примечание к статье сэра Рональда Фишера». Журнал Королевского статистического общества, серия B. 18 (2): 288–294.
- Ройалл, Ричард (1997). Статистические данные: парадигма вероятности . Чепмен и Холл . ISBN 978-0412044113 .
- Сэвидж, ЖЖ (1972) [1954]. Основы статистики (второе изд.).
- Сенн, Стивен (2011). «Вы можете верить, что вы байесианец, но, вероятно, вы ошибаетесь». РММ . 2 : 48–66.
- Сотос, Ана Элиза Кастро; ван Хоф, Стейн; ван ден Ноортгейт, Вим; Онгена, Патрик (2007). «Заблуждения студентов о статистических выводах: обзор эмпирических данных исследований в области статистического образования» . Обзор образовательных исследований . 2 (2): 98–113. дои : 10.1016/j.edurev.2007.04.001 .
- Стюарт, А.; Орд, Дж. К. (1994). Продвинутая теория статистики Кендалла . Том. Я: Теория распределения. Эдвард Арнольд.
- Табачник, Барбара Г.; Фиделл, Линда С. (1996). Использование многомерной статистики (3-е изд.). Издательство колледжа ХарперКоллинз. ISBN 978-0-673-99414-1 .
Основные компоненты – это эмпирический подход, тогда как факторный анализ и моделирование структурными уравнениями, как правило, являются теоретическими подходами (стр. 27).
- Ю, Юэ (2009). «Байесовский метод против частотного» (PDF) . – Конспекты лекций? Университет Иллинойса в Чикаго
Дальнейшее чтение [ править ]
- Барнетт, Вик (1999). Сравнительный статистический вывод (3-е изд.). Уайли. ISBN 978-0-471-97643-1 .
- Кокс, Дэвид Р. (2006). Принципы статистического вывода . Издательство Кембриджского университета. ISBN 978-0-521-68567-2 .
- Эфрон, Брэдли (1986), «Почему не все байесовцы? (с обсуждением)», The American Statistician , 40 (1): 1–11, doi : 10.2307/2683105 , JSTOR 2683105 .
- Гуд, И.Дж. (1988), «Взаимосвязь между статистикой и философией науки», Statistical Science , 3 (4): 386–397, doi : 10.1214/ss/1177012754 , JSTOR 2245388
- Кадане, JB ; Шервиш, МЮ; Зайденфельд, Т. (1999). Переосмысление основ статистики . Издательство Кембриджского университета. Бибкод : 1999рфс..книга.....К . – Байесовский.
- Мэйо, Дебора Г. (1992), «Отверг ли Пирсон философию статистики Неймана-Пирсона?», Synthese , 90 (2): 233–262, doi : 10.1007/BF00485352 , S2CID 14236921 .
Внешние ссылки [ править ]
- «Интерпретации вероятности» . Вероятностная интерпретация . Стэнфордская энциклопедия философии. Пало-Альто, Калифорния: Стэнфордский университет. 2019.
- Философия статистики . Стэнфордская энциклопедия философии. Пало-Альто, Калифорния: Стэнфордский университет. 2022.