История статистики

Статистика в современном смысле этого слова начала развиваться в 18 веке в ответ на новые потребности индустриализирующихся суверенных государств .

В ранние времена значение ограничивалось информацией о государствах, особенно демографическими данными , такими как население. Позже это было расширено, чтобы включить все коллекции информации всех типов, а еще позже оно было расширено, чтобы включить анализ и интерпретацию таких данных. Говоря современным языком, «статистика» означает как наборы собранной информации, например, национальные счета и данные о температуре , так и аналитическую работу, требующую статистических выводов . Статистическая деятельность часто связана с моделями, выраженными с использованием вероятностей , отсюда и связь с теорией вероятностей. Большие требования к обработке данных сделали статистику ключевым применением вычислений. Ряд статистических концепций оказывают важное влияние на широкий круг наук. К ним относятся планирование экспериментов и подходы к статистическим выводам, такие как байесовский вывод , каждый из которых можно считать имеющим свою собственную последовательность в развитии идей, лежащих в основе современной статистики.

Введение

К XVIII веку термин « статистика » обозначал систематический сбор данных демографических и экономических государствами . На протяжении как минимум двух тысячелетий эти данные представляли собой в основном таблицы человеческих и материальных ресурсов, которые могли облагаться налогом или использоваться в военных целях. В начале 19 века сбор данных усилился, а значение слова «статистика» расширилось и теперь включает дисциплину, связанную со сбором, обобщением и анализом данных. Сегодня данные собираются, статистические данные рассчитываются и широко распространяются в правительстве, бизнесе, большинстве наук и спорта и даже для многих видов времяпрепровождения. Электронные компьютеры ускорили более сложные статистические вычисления, хотя они и облегчили сбор и агрегирование данных. Один аналитик данных может располагать набором файлов данных с миллионами записей, каждая из которых содержит десятки или сотни отдельных измерений. Они собирались с течением времени в результате компьютерной деятельности (например, фондовой биржи) или с помощью компьютеризированных датчиков, кассовых аппаратов и т. д. Затем компьютеры выдают простые и точные сводные данные и позволяют проводить более утомительные анализы, например, требующие обращения большой матрицы или выполнения сотен шагов итерации, которые никогда не будут выполняться вручную. Более быстрые вычисления позволили статистикам разработать «компьютерные» методы, которые могут рассматривать все варианты или использовать рандомизацию для рассмотрения 10 000 вариантов задачи, чтобы оценить ответы, которые нелегко определить количественно с помощью одной только теории.

Термином « математическая статистика » обозначаются математические теории вероятностей и статистических выводов , которые используются в статистической практике . Однако связь между статистикой и теорией вероятностей возникла довольно поздно. В 19 веке в статистике все чаще использовалась теория вероятностей , первые результаты которой были найдены в 17 и 18 веках, в частности, при анализе азартных игр (азартных игр). К 1800 году астрономия использовала вероятностные модели и статистические теории, в частности метод наименьших квадратов . Ранняя теория вероятностей и статистика были систематизированы в 19 веке, а статистические рассуждения и вероятностные модели использовались социологами для развития новых наук экспериментальной психологии и социологии , а также учеными-физиками в области термодинамики и статистической механики . Развитие статистических рассуждений было тесно связано с развитием индуктивной логики и научного метода , которые отодвигают статистиков от более узкой области математической статистики. Большая часть теоретических работ была уже доступна к тому времени, когда появились компьютеры для их использования. К 1970-м годам Джонсон и Коц выпустили четырехтомный сборник по статистическим распределениям (1-е изд., 1969–1972 гг.), который до сих пор является бесценным ресурсом.

Прикладную статистику можно рассматривать не как область математики, а как автономную математическую науку , такую ​​же, как информатика и исследование операций . В отличие от математики, статистика возникла в сфере государственного управления . Приложения возникли на ранних стадиях демографии и экономики ; Сегодня большие области микро- и макроэкономики представляют собой «статистику» с упором на анализ временных рядов. Благодаря акценту на обучении на основе данных и составлении наилучших прогнозов, статистика также формируется под влиянием областей академических исследований, включая психологическое тестирование, медицину и эпидемиологию . Идеи статистического тестирования во многом совпадают с наукой о принятии решений . Статистика , занимающаяся поиском и эффективным представлением данных , пересекается с информатикой и информатикой .

Этимология

Поищите статистику в Викисловаре , бесплатном словаре.

Термин «статистика» в конечном итоге происходит от неолатинского statisticum collegium («государственный совет») и итальянского слова statista («государственный деятель» или « политик »). Немецкая политической Statistik , впервые представленная Готфридом Ахенваллем (1749), первоначально обозначала анализ данных о государстве , обозначая «науку о государстве» (тогда называемую арифметикой по-английски). Смысл сбора и классификации данных он приобрел в начале 19 века. Он был введен на английский язык в 1791 году сэром Джоном Синклером, когда он опубликовал первый из 21 тома под названием « Статистический отчет Шотландии» .

Истоки

Основная статья: История вероятности

См. Также: Хронология вероятности и статистика.

Основные формы статистики использовались с самого начала цивилизации. Ранние империи часто сопоставляли переписи населения или регистрировали торговлю различными товарами. Династия Хань и Римская империя были одними из первых государств, которые начали масштабный сбор данных о численности населения, географическом пространстве и богатстве империи.

Использование статистических методов восходит как минимум к V веку до нашей эры. Историк Фукидид в своей « Истории Пелопоннесской войны». описывает, как афиняне рассчитали высоту стены Платеи , подсчитав количество кирпичей на неоштукатуренном участке стены, достаточно близком к ним, чтобы можно было их сосчитать. Несколько солдат повторили счет несколько раз. наиболее частое значение (в современной терминологии — мода За наиболее вероятное значение числа кирпичей принималось ), определяемое таким образом. Умножение этого значения на высоту кирпичей, использованных в стене, позволило афинянам определить высоту лестниц, необходимых для подъема на стены.

« Испытание Пикса» — это проверка чистоты монет Королевского монетного двора , которая проводится регулярно с XII века. Само испытание основано на методах статистической выборки. После чеканки серии монет — первоначально из десяти фунтов серебра — единственная монета была помещена в «Пикс» — ящик в Вестминстерском аббатстве . По истечении определенного периода времени — теперь раз в год — монеты вынимаются и взвешиваются. Затем образцы монет, извлеченные из коробки, проверяются на чистоту.

« Новая хроника» XIV века, , история Флоренции написанная флорентийским банкиром и чиновником Джованни Виллани , включает в себя много статистической информации о населении, постановлениях, торговле, образовании и религиозных учреждениях и была описана как первое введение статистики как положительный элемент в истории, хотя ни термина, ни концепции статистики как конкретной области еще не существовало.

арифметическое Среднее , хотя и было понятием, известным грекам, не было обобщено более чем на два значения до 16 века. Изобретение Симоном Стевином десятичной системы в 1585 году, вероятно, облегчило эти вычисления. Этот метод был впервые использован в астрономии Тихо Браге , который пытался уменьшить ошибки в своих оценках местоположения различных небесных тел.

Идея медианы возникла в Эдварда Райта книге по навигации ( «Определенные ошибки в навигации ») в 1599 году в разделе, посвященном определению местоположения с помощью компаса. Райт считал, что это значение, скорее всего, будет правильным в серии наблюдений. Разницу между средним значением и медианой заметил в 1669 году Чистиан Гюйгенс в контексте использования таблиц Граунта.

Сэр Уильям Петти , экономист 17-го века, который использовал ранние статистические методы для анализа демографических данных.

Термин «статистика» был введен итальянским ученым Джироламо Гилини в 1589 году применительно к этой науке. Рождение статистики часто относят к 1662 году, когда Джон Граун вместе с Уильямом Петти разработали ранние методы статистики и переписи населения , которые послужили основой для современной демографии . Он составил первую таблицу смертности , в которой указаны вероятности выживания для каждого возраста. В его книге «Естественные и политические наблюдения над счетами смертности» использовался анализ списков смертности для первой статистически обоснованной оценки населения Лондона . Он знал, что в Лондоне ежегодно проводится около 13 000 похорон и что на одиннадцать семей в год умирает три человека. По приходским записям он подсчитал, что средний размер семьи составляет 8 человек, и подсчитал, что население Лондона составляет около 384 000 человек; это первое известное использование средства оценки отношения . Лаплас в 1802 г. подсчитал население Франции аналогичным методом; см . в разделе «Оценка соотношения § История» подробности .

Хотя первоначальный объем статистики ограничивался данными, полезными для управления, в XIX веке этот подход был распространен на многие области научного или коммерческого характера. Математические основы этого предмета в значительной степени основывались на новой теории вероятностей , впервые разработанной в 16 веке Джероламо Кардано , Пьером де Ферма и Блезом Паскалем . Христиан Гюйгенс (1657 г.) дал самую раннюю известную научную трактовку этого предмета. В книгах Якоба Бернулли « Ars Conjectandi » (посмертно, 1713 г.) и Авраама де Муавра » «Доктрине шансов (1718 г.) этот предмет рассматривался как раздел математики. В своей книге Бернулли ввел идею представления полной уверенности как единицы, а вероятности как числа от нуля до единицы.

Ключевым ранним применением статистики в 18 веке было изучение соотношения полов человека при рождении. Джон Арбутнот изучал этот вопрос в 1710 году. Арбутнот изучил записи о рождении в Лондоне за каждый из 82 лет с 1629 по 1710 год. Каждый год количество мужчин, рожденных в Лондоне, превышало количество женщин. Учитывая, что большее количество рождений мальчиков и девочек одинаково вероятно, вероятность наблюдаемого исхода составляет 0,5 ^ 82, или примерно 1 на 4,8360,0000,0000,0000,0000,0000; говоря современным языком, p -значение . Это исчезающе мало, что приводит Арбетнота к выводу, что это произошло не по воле случая, а по божественному провидению: «Отсюда следует, что правит Искусство, а не Случай». Эту и другие работы Арбутнота называют «первым использованием тестов значимости ». первый пример рассуждений о статистической значимости и моральной уверенности, и «… возможно, первый опубликованный отчет о непараметрическом тесте …», в частности, тест знаков ; подробности см. в разделе «История жестового теста» .

Формальное исследование теории ошибок можно проследить до Роджера Коутса » «Opera Miscellanea (посмертно, 1722 г.), но в мемуарах, подготовленных Томасом Симпсоном в 1755 г. (напечатанных в 1756 г.), впервые теория была применена к обсуждению ошибок наблюдения. В переиздании (1757 г.) этих мемуаров излагаются аксиомы о том, что положительные и отрицательные ошибки одинаково вероятны и что существуют определенные определяемые пределы, в которые можно предполагать попадание всех ошибок; обсуждаются непрерывные ошибки и приводится кривая вероятности. Симпсон обсудил несколько возможных распределений ошибок. Сначала он рассмотрел равномерное распределение , затем дискретное симметричное треугольное распределение, а затем непрерывное симметричное треугольное распределение. Тобиас Майер в своем исследовании либрации Луны ( , Kosmographische Nachrichten Нюрнберг, 1750) изобрел первый формальный метод оценки неизвестных величин путем обобщения усреднения наблюдений при идентичных обстоятельствах на усреднение групп подобных уравнений.

Роджер Джозеф Боскович в 1755 году основываясь в своей работе о форме Земли, предложенной в его книге « De Litteraria экспедиция для понтификам itionem ad dimetiendos duos meridiani gradus a PP». Майре и Босковичли , что истинная ценность серии наблюдений будет такой, которая минимизирует сумму абсолютных ошибок. В современной терминологии эта величина является медианой. Первый пример того, что позже стало известно как нормальная кривая, был изучен Авраамом де Муавром , который построил эту кривую 12 ноября 1733 года. де Муавр изучал количество выпадающих орлов при подбрасывании «честной» монеты.

В 1763 году Ричард Прайс передал Королевскому обществу Томаса Байеса доказательство правила использования биномиального распределения для расчета апостериорной вероятности предшествующего события.

В 1765 году Джозеф Пристли изобрел первые временные диаграммы.

Иоганн Генрих Ламберт в своей книге 1765 года Anlage zur Architectonic предложил полукруг как распределение ошибок:

$f(x)={\frac {1}{2}}{\sqrt {(1-x^{2})}}$

с -1 < x <1.

Графики плотности вероятности для распределения Лапласа .

Пьер-Симон Лаплас (1774) сделал первую попытку вывести правило сочетания наблюдений из принципов теории вероятностей. Он представил закон вероятности ошибок в виде кривой и вывел формулу для среднего значения трех наблюдений.

Лаплас в 1774 году заметил, что частота ошибки может быть выражена как экспоненциальная функция ее величины, если не принимать во внимание ее знак. Это распределение теперь известно как распределение Лапласа . Лагранж предложил параболическое фрактальное распределение ошибок в 1776 году.

Лаплас в 1778 году опубликовал свой второй закон ошибок, в котором отметил, что частота ошибки пропорциональна экспоненте квадрата ее величины. Впоследствии оно было заново открыто Гауссом (вероятно, в 1795 году) и теперь наиболее известно как нормальное распределение , которое имеет центральное значение в статистике. Это распределение впервые было названо нормальным распределением К.С. Пирсом в 1873 году, который изучал ошибки измерения, когда объект роняли на деревянное основание. Он выбрал термин «нормальный» , потому что он часто встречается в естественных переменных.

Лагранж также предложил в 1781 году два других распределения ошибок — распределение приподнятого косинуса и логарифмическое распределение .

Лаплас дал (1781 г.) формулу закона возможности ошибки (термин, предложенный Жозефом Луи Лагранжем , 1774 г.), но которая привела к неуправляемым уравнениям. Даниэль Бернулли (1778) ввел принцип максимального произведения вероятностей системы одновременных ошибок.

В 1786 году Уильям Плейфэр (1759–1823) ввёл в статистику идею графического представления. Он изобрел линейную диаграмму , гистограмму и гистограмму и включил их в свои работы по экономике , « Коммерческий и политический атлас» . За этим последовало в 1795 году его изобретение круговой и круговой диаграммы, которые он использовал для отображения эволюции импорта и экспорта Англии. Эти последние диаграммы привлекли всеобщее внимание, когда он опубликовал примеры в своем Статистическом Бревиарии в 1801 году.

Лаплас при исследовании движения Сатурна и Юпитера в 1787 году обобщил метод Майера, используя различные линейные комбинации одной группы уравнений.

В 1791 году сэр Джон Синклер ввел термин «статистика» на английский язык в своих «Статистических отчетах Шотландии» .

В 1802 году Лаплас оценил население Франции в 28 328 612 человек. Эту цифру он рассчитал, используя число рождений в предыдущем году и данные переписи населения трех общин. Данные переписи этих общин показали, что в них проживало 2 037 615 человек, а число родившихся составило 71 866 человек. Предполагая, что эти выборки репрезентативны для Франции, Лаплас произвел оценку для всего населения.

Карл Фридрих Гаусс — математик, разработавший метод наименьших квадратов в 1809 году.

Метод наименьших квадратов , который использовался для минимизации ошибок в измерении данных , был независимо опубликован Адрианом-Мари Лежандром (1805 г.), Робертом Адреном (1808 г.) и Карлом Фридрихом Гауссом (1809 г.). Гаусс использовал этот метод в своем знаменитом предсказании местоположения карликовой планеты Церера в 1801 году . Наблюдения, на которых Гаусс основывал свои расчеты, были сделаны итальянским монахом Пиацци.

Методу наименьших квадратов предшествовало использование медианного наклона регрессии. Этот метод минимизирует сумму абсолютных отклонений. Метод оценки этого наклона был изобретен Роджером Джозефом Босковичем в 1760 году и применён к астрономии.

Термин «вероятная ошибка» ( der wahrscheinliche Fehler ) — медианное отклонение от среднего значения — был введен в 1815 году немецким астрономом Фредериком Вильгельмом Бесселем . Антуан Огюстен Курно в 1843 году был первым, кто использовал термин медиана ( valeur mediane ) для значения, которое делит распределение вероятностей на две равные половины.

Другими авторами теории ошибок были Эллис (1844 г.), Де Морган (1864 г.), Глейшер (1872 г.) и Джованни Скиапарелли (1875 г.). Формула Петерса (1856 г.) для $r$, «вероятная ошибка» одного наблюдения широко использовалась и послужила источником появления первых надежных статистических данных (устойчивых к выбросам : см. критерий Пирса ).

В XIX веке среди авторов статистической теории были Лаплас, С. Лакруа (1816 г.), Литтроу (1833 г.), Дедекинд (1860 г.), Гельмерт (1872 г.), Лоран (1873 г.), Лиагр, Дидион, Де Морган и Буль .

Густав Теодор Фехнер использовал медиану ( Centralwerth ) в социологических и психологических явлениях. Раньше он использовался только в астрономии и смежных областях. Фрэнсис Гальтон использовал английский термин « медиана» впервые в 1881 году, ранее он использовал термины «среднее значение» в 1869 году и « среднее» в 1880 году.

Адольф Кетле (1796–1874), еще один важный основатель статистики, ввел понятие «среднего человека» ( l'homme moyen ) как средство понимания сложных социальных явлений, таких как уровень преступности , уровень браков и уровень самоубийств .

Первые тесты нормального распределения были изобретены немецким статистиком Вильгельмом Лексисом в 1870-х годах. Единственные доступные ему наборы данных, которые он мог показать и которые были нормально распределены, — это коэффициенты рождаемости.

Развитие современной статистики

Хотя истоки статистической теории лежат в развитии теории вероятностей в 18 веке, современная область статистики возникла только в конце 19 и начале 20 века в три этапа. Первую волну, на рубеже веков, возглавили работы Фрэнсиса Гальтона и Карла Пирсона , которые превратили статистику в строгую математическую дисциплину, используемую для анализа не только в науке, но также в промышленности и политике. Вторая волна 1910-х и 20-х годов была инициирована Уильямом Сили Госсетом и достигла своей кульминации в прозрениях Рональда Фишера . Это включало разработку более совершенного дизайна моделей экспериментов , проверки гипотез и методов использования с небольшими выборками данных. Последняя волна, которая в основном представляла собой усовершенствование и расширение более ранних разработок, возникла в результате совместной работы Эгона Пирсона и Ежи Неймана в 1930-х годах. Сегодня статистические методы применяются во всех областях, связанных с принятием решений, для получения точных выводов на основе сопоставленного массива данных и для принятия решений в условиях неопределенности на основе статистической методологии.

Оригинальный логотип Королевского статистического общества , основанного в 1834 году.

Первые статистические органы были созданы в начале 19 века. Королевское статистическое общество было основано в 1834 году, и Флоренс Найтингейл , первая женщина-член, стала пионером в применении статистического анализа к проблемам здравоохранения для содействия эпидемиологическому пониманию и практике общественного здравоохранения. Однако используемые тогда методы сегодня не могут считаться современной статистикой.

Книга оксфордского ученого Фрэнсиса Исидро Эджворта « Метретике : или метод измерения вероятности и полезности» (1887) рассматривала вероятность как основу индуктивного рассуждения, а его более поздние работы были сосредоточены на «философии шанса». Его первая статья по статистике (1883 г.) исследовала закон ошибок ( нормальное распределение ), а его « Методы статистики» (1885 г.) представили раннюю версию t-распределения , расширение Эджворта , ряд Эджворта , метод преобразования переменных и асимптотическая теория оценок максимального правдоподобия.

Норвежец Андерс Николаи Киер ввел концепцию стратифицированной выборки в 1895 году. Артур Лайон Боули представил новые методы выборки данных в 1906 году, работая над социальной статистикой. Хотя статистические исследования социальных условий начались с работы Чарльза Бута «Жизнь и труд людей в Лондоне» (1889-1903) и Сибома Раунтри «Бедность, исследование городской жизни» (1901), ключевое нововведение Боули заключалась в использовании методов случайной выборки . Кульминацией его усилий стал «Новый обзор лондонской жизни и труда» .

Фрэнсис Гальтон считается одним из главных основателей статистической теории. Его вклад в эту область включал введение понятий стандартного отклонения , корреляции , регрессии и применение этих методов к изучению различных характеристик человека - роста, веса, длины ресниц и других. Он обнаружил, что многие из них можно подогнать к нормальному распределению кривой.

статью В 1907 году Гальтон представил в журнал Nature о полезности медианы. Он проверил точность 787 предположений о весе быка на сельской ярмарке. Фактический вес составлял 1208 фунтов: среднее предположение было 1198. Догадки были заметно ненормально распределены (см. «Мудрость толпы »).

Карл Пирсон , основатель математической статистики .

Публикация Гальтоном « Естественного наследования» в 1889 году вызвала интерес блестящего математика Карла Пирсона . затем работал в Университетском колледже Лондона и основал дисциплину математической статистики. Он подчеркивал статистическую основу научных законов и способствовал ее изучению, а его лаборатория привлекала студентов со всего мира, привлеченных его новыми методами анализа, в том числе Удного Юла . Его работа расширилась и охватила области биологии , эпидемиологии , антропометрии, медицины и социальной истории . В 1901 году вместе с Уолтером Уэлдоном , основателем биометрии , и Гальтоном он основал журнал «Биометрика» как первый журнал по математической статистике и биометрии.

Его работа, как и работа Гальтона, лежит в основе многих «классических» статистических методов, которые широко используются сегодня, включая коэффициент корреляции , определяемый как момент продукта; метод моментов для аппроксимации распределений выборкам; Система непрерывных кривых Пирсона , которая составляет основу ныне традиционных непрерывных распределений вероятностей; Расстояние Чи - предшественник и частный случай расстояния Махаланобиса. и P-значение , определяемое как вероятностная мера дополнения шара с предполагаемым значением в качестве центральной точки и расстоянием хи в качестве радиуса. Он также ввел термин «стандартное отклонение».

Он также основал теорию проверки статистических гипотез . Критерий хи-квадрат Пирсона и анализ главных компонент . В 1911 году он основал первый в мире факультет университетской статистики в Университетском колледже Лондона .

Вторая волна математической статистики была инициирована Рональдом Фишером , который написал два учебника: «Статистические методы для научных работников» , опубликованные в 1925 году, и « Планирование экспериментов» в 1935 году, которые должны были определить академические дисциплины в университетах по всему миру. Он также систематизировал предыдущие результаты, поставив их на прочную математическую основу. В своей основополагающей статье 1918 года « Корреляция между родственниками на основании предположения о менделевском наследовании» впервые был использован статистический термин « дисперсия» . В 1919 году на Ротамстедской экспериментальной станции он начал серьезное исследование обширных коллекций данных, записанных за многие годы. Результатом этого стала серия докладов под общим названием « Исследования вариаций сельскохозяйственных культур». В 1930 году он опубликовал «Генетическая теория естественного отбора» , где применил статистику к эволюции .

В течение следующих семи лет он впервые разработал принципы планирования экспериментов (см. ниже) и разработал свои исследования дисперсионного анализа. Он продолжил свои исследования статистики небольших выборок. Возможно, что еще более важно, он начал свой систематический подход к анализу реальных данных как трамплин для разработки новых статистических методов. Он разработал вычислительные алгоритмы для анализа данных своих сбалансированных экспериментальных планов. В 1925 году результатом этой работы стала публикация его первой книги « Статистические методы для научных работников» . В последующие годы эта книга выдержала множество изданий и переводов и стала стандартным справочником для ученых во многих дисциплинах. В 1935 году за этой книгой последовала «План экспериментов» , которая также получила широкое распространение.

Помимо дисперсионного анализа, Фишер назвал и пропагандировал метод оценки максимального правдоподобия . Фишер также создал концепции достаточности , вспомогательной статистики , линейного дискриминатора Фишера и информации Фишера . В его статье « О распределении, дающей функции ошибок нескольких известных статистических данных» (1924 г.) были представлены критерий хи-квадрат Пирсона и Уильяма Сили Госсета в t той же структуре, что и распределение Гаусса , а также его собственный параметр в дисперсионном анализе Фишера z. -распределение (более часто используемое десятилетия спустя в форме распределения F ). Уровень значимости 5%, по-видимому, был введен Фишером в 1925 году. Фишер заявил, что отклонения, превышающие в два раза стандартное отклонение, считаются значимыми. До этого существенными считались отклонения, превышающие в три раза вероятную погрешность. Для симметричного распределения вероятная ошибка составляет половину межквартильного размаха. Для нормального распределения вероятная ошибка составляет примерно 2/3 стандартного отклонения. Похоже, что критерий Фишера в 5% основан на предыдущей практике.

Другой важный вклад того времени включал Чарльза Спирмена , коэффициент ранговой корреляции который был полезным расширением коэффициента корреляции Пирсона. Уильям Сили Госсет , английский статистик, более известный под псевдонимом Стьюдент , ввел t-распределение Стьюдента , непрерывное распределение вероятностей, полезное в ситуациях, когда размер выборки невелик, а стандартное отклонение генеральной совокупности неизвестно.

Эгон Пирсон (сын Карла) и Ежи Нейман представили понятия ошибки « типа II », мощности теста и доверительных интервалов . Ежи Нейман в 1934 году показал, что стратифицированная случайная выборка в целом является лучшим методом оценки, чем целенаправленная (квотная) выборка.

План экспериментов

Джеймс Линд провел первое в истории клиническое испытание в 1747 году, пытаясь найти лечение цинги .

В 1747 году, работая хирургом на корабле HM Bark Salisbury , Джеймс Линд провел контролируемый эксперимент по разработке лекарства от цинги . В этом исследовании случаи его испытуемых «были настолько похожи, насколько я мог их представить», то есть он предъявлял строгие требования к участию, чтобы уменьшить посторонние вариации. Мужчины были парами, что обеспечивало блокировку . С современной точки зрения главное, чего не хватает, — это рандомизированное распределение субъектов для лечения.

Сегодня Линда часто называют экспериментатором, работающим по одному фактору за раз. Аналогичные эксперименты по одному фактору за раз (OFAT) были проведены на исследовательской станции Ротамстед в 1840-х годах сэром Джоном Лоузом , чтобы определить оптимальное неорганическое удобрение для использования на пшенице.

Теория статистического вывода была разработана Чарльзом С. Пирсом в « Иллюстрациях логики науки » (1877–1878) и « Теории вероятного вывода » (1883), двух публикациях, в которых подчеркивалась важность вывода, основанного на рандомизации, в статистика. В другом исследовании Пирс случайным образом распределил добровольцев на слепое чтобы исследование с повторными измерениями, оценить их способность различать вес.

Эксперимент Пирса вдохновил других исследователей в области психологии и образования, которые в 1800-х годах развили исследовательскую традицию рандомизированных экспериментов в лабораториях и специализированных учебниках. Пирс также опубликовал первую англоязычную публикацию об дизайне регрессионных оптимальном моделей . в 1876 году Новаторский оптимальный дизайн полиномиальной регрессии был предложен Жергонном в 1815 году. В 1918 году Кирстин Смит опубликовала оптимальные схемы для полиномов шестой степени (и меньше).

Впервые было предложено использование последовательности экспериментов, план каждого из которых может зависеть от результатов предыдущих экспериментов, включая возможное решение о прекращении экспериментов. в Абрахамом Вальдом контексте последовательной проверки статистических гипотез. Доступны исследования оптимальных последовательных планов , и адаптивного дизайна . Одним из конкретных типов последовательной конструкции является «двурукий бандит», обобщенный до многорукого бандита , ранняя работа над которым была проведена Гербертом Роббинсом в 1952 году.

Термин «планирование экспериментов» (DOE) происходит от ранних статистических работ, выполненных сэром Рональдом Фишером . описал его Андерс Хальд как «гения, почти в одиночку создавшего основы современной статистической науки». Фишер инициировал принципы планирования экспериментов и развил свои исследования « дисперсионного анализа ». Возможно, еще важнее то, что Фишер начал свой систематический подход к анализу реальных данных как трамплин для разработки новых статистических методов. Он начал уделять особое внимание труду, связанному с необходимыми вычислениями, выполняемыми вручную, и разработал методы, которые были настолько же практичными, насколько и строго обоснованными. В 1925 году эта работа завершилась публикацией его первой книги « Статистические методы для научных работников» . В последующие годы он выдержал множество изданий и переводов и стал стандартным справочным изданием для ученых многих дисциплин.

Методика планирования экспериментов была предложена Рональдом А. Фишером в его новаторской книге «План экспериментов» (1935), которая также стала стандартом. В качестве примера он описал, как проверить гипотезу о том, что некая дама могла отличить только по вкусу, было ли в чашку первым налито молоко или чай. Хотя это звучит как легкомысленное применение, оно позволило ему проиллюстрировать наиболее важные идеи экспериментального дизайна: см. Леди, дегустирующую чай .

Достижения сельскохозяйственной науки способствовали сочетанию большего городского населения и меньшего количества ферм. Но для того, чтобы учёные, занимающиеся растениеводством, должным образом учитывали сильно различающиеся географические климатические условия и потребности выращивания, было важно дифференцировать местные условия выращивания. Чтобы экстраполировать эксперименты с местными культурами на национальный масштаб, им пришлось экономически расширить тестирование образцов сельскохозяйственных культур на все население. По мере развития статистических методов (в первую очередь эффективности спланированных экспериментов вместо экспериментов с одним фактором за раз), репрезентативный факторный дизайн экспериментов начал обеспечивать значимое распространение, путем вывода, результатов экспериментальной выборки на популяцию в целом. . Но было трудно решить, насколько репрезентативной была выбранная выборка урожая. Методология факторного дизайна показала, как оценивать и корректировать любые случайные отклонения в выборке, а также в процедурах сбора данных.

Байесовская статистика

Пьер-Симон, маркиз де Лаплас, главный разработчик байесовской статистики.

Термин «байесовский» относится к Томасу Байесу (1702–1761), который доказал, что на неизвестное событие можно наложить вероятностные ограничения. Однако именно Пьер-Симон Лаплас (1749–1827) ввел (в качестве принципа VI) то, что сейчас называется теоремой Байеса , и применил ее к небесной механике , медицинской статистике, надежности и юриспруденции . Когда было недостаточно знаний для определения информированного априора, Лаплас использовал единые априоры в соответствии со своим « принципом недостаточного основания ». Лаплас принял единообразные априорные положения из соображений математической простоты, а не из философских соображений. Лаплас также представил примитивные версии сопряженных априоров и теорема фон Мизеса и Бернштейна , согласно которой апостериоры, соответствующие изначально различающимся априорам, в конечном итоге совпадают по мере увеличения числа наблюдений. Лапласа Этот ранний байесовский вывод, в котором использовались единые априорные положения в соответствии с принципом недостаточного основания , назывался « обратной вероятностью » (потому что он делает выводы в обратном направлении от наблюдений к параметрам или от следствий к причинам). ).

После 1920-х годов обратная вероятность была в значительной степени вытеснена с помощью набора методов, разработанных Рональдом А. Фишером , Ежи Нейманом и Эгоном Пирсоном . Их методы стали называть частотной статистикой . Фишер отверг байесовскую точку зрения, написав, что «теория обратной вероятности основана на ошибке и должна быть полностью отвергнута». Однако в конце своей жизни Фишер выразил большее уважение к эссе Байеса, которое, по мнению Фишера, предвосхитило его собственный, доверительный подход к вероятности; Фишер по-прежнему утверждал, что взгляды Лапласа на вероятность были «ошибочной чушью». Нейман начинал как «квазибайесианец», но впоследствии разработал доверительные интервалы (ключевой метод в частотной статистике), потому что «вся теория выглядела бы лучше, если бы она была построена с самого начала без ссылки на байесианство и априорные теории». Слово «байесианство» появилось примерно в 1950 году, а к 1960-м годам оно стало термином, предпочитаемым теми, кто не удовлетворен ограничениями частотной статистики.

В XX веке идеи Лапласа получили дальнейшее развитие в двух разных направлениях, породив объективные и субъективные течения в байесовской практике. В объективистском направлении статистический анализ зависит только от принятой модели и анализируемых данных. Никаких субъективных решений не требуется. Напротив, «субъективистские» статистики отрицают возможность вполне объективного анализа общего случая.

В дальнейшем развитии идей Лапласа субъективные идеи предшествуют объективистским позициям. Идея о том, что «вероятность» следует интерпретировать как «субъективную степень веры в утверждение», была предложена, например, Джоном Мейнардом Кейнсом в начале 1920-х годов. Эту идею развили Бруно де Финетти в Италии ( Fondamenti Logici del Ragionamento Probabilistico , 1930) и Фрэнк Рэмси в Кембридже ( The Foundations of Mathematics , 1931). Этот подход был разработан для решения проблем, связанных с частотным определением вероятности , а также с более ранним объективистским подходом Лапласа. Субъективные байесовские методы получили дальнейшее развитие и популяризацию в 1950-х годах Л. Дж. Сэвиджем .

Объективный байесовский вывод был далее развит Гарольдом Джеффрисом в Кембриджском университете . Его основополагающая книга «Теория вероятностей» впервые появилась в 1939 году и сыграла важную роль в возрождении байесовского взгляда на вероятность . В 1957 году Эдвин Джейнс выдвинул концепцию максимальной энтропии для построения априорных значений, которая является важным принципом при формулировке объективных методов, главным образом для дискретных задач. В 1965 году Денниса Линдли двухтомная работа «Введение в вероятность и статистику с байесовской точки зрения» представила байесовские методы широкой аудитории. В 1979 году Хосе-Мигель Бернардо представил эталонный анализ . который предлагает общую применимую основу для объективного анализа. Среди других известных сторонников байесовской теории вероятностей — И. Дж. Гуд , Б. О. Купман , Говард Райффа , Роберт Шлайфер и Алан Тьюринг .

В 1980-е годы произошел резкий рост исследований и применений байесовских методов, в основном связанный с открытием методов Монте-Карло на основе цепей Маркова , которые устранили многие вычислительные проблемы , а также растущим интересом к нестандартным и сложным приложениям. Несмотря на рост байесовских исследований, большая часть преподавания на бакалавриате по-прежнему основана на частотной статистике. Тем не менее, байесовские методы широко приняты и используются, например, в области машинного обучения .

Важные участники статистики

Смотрите также: Список статистиков и основателей статистики.

• Рагху Радж Бахадур
• Томас Байес
• Джордж EP Box
• Pafnuty Chebyshev
• Дэвид Р. Кокс
• Гертруда Кокс
• Харальд Крамер
• Фрэнсис Исидро Эджворт
• Брэдли Эфрон
• Бруно де Финетти
• Рональд А. Фишер
• Фрэнсис Гальтон

• Карл Фридрих Гаусс
• Уильям Сили Госсет («Студент»)
• Аль-Кинди
• Andrey Kolmogorov
• Пьер-Симон Лаплас
• Эрих Л. Леманн
• Aleksandr Lyapunov
• Анил Кумар Гейн
• Прасанта Чандра Махаланобис
• Авраам де Муавр
• Ежи Нейман
• Флоренс Найтингейл

• Блез Паскаль
• Карл Пирсон
• Чарльз С. Пирс
• Адольф Кетле
• ЧР Рао
• Уолтер А. Шухарт
• Чарльз Спирман
• Чарльз Стейн
• Торвальд Н. Тиле
• Джон Тьюки
• Авраам Вальд

Библиография

• Фридман, Д. (1999). «От ассоциации к причинно-следственной связи: Некоторые замечания по истории статистики» . Статистическая наука . 14 (3): 243–258. дои : 10.1214/ss/1009212409 . ( Пересмотренная версия, 2002 г. )
• Хальд, Андерс (2003). История вероятности и статистики и их применения до 1750 года . Хобокен, Нью-Джерси: Уайли. ISBN  978-0-471-47129-5 .
• Хальд, Андерс (1998). История математической статистики с 1750 по 1930 год . Нью-Йорк: Уайли. ISBN  978-0-471-17912-2 .
• Коц С., Джонсон Н.Л. (1992,1992,1997). Прорывы в статистике , Тома I, II, III. Спрингер ISBN   0-387-94037-5 , ISBN   0-387-94039-1 , ISBN   0-387-94989-5
• Пирсон, Эгон (1978). История статистики 17-го и 18-го веков на фоне меняющегося фона интеллектуальной, научной и религиозной мысли (Лекции Карла Пирсона, прочитанные в Университетском колледже Лондона во время академических сессий 1921-1933 годов) . Нью-Йорк: MacMillan Publishing Co., Inc., с. 744. ИСБН  978-0-02-850120-8 .
• Зальсбург, Дэвид (2001). Женщина, дегустирующая чай: как статистика произвела революцию в науке в двадцатом веке . ISBN   0-7167-4106-7
• Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Belknap Press/Издательство Гарвардского университета. ISBN  978-0-674-40341-3 .
• Стиглер, Стивен М. (1999) Статистика на столе: история статистических концепций и методов . Издательство Гарвардского университета. ISBN   0-674-83601-4
• Дэвид, ХА (1995). «Первое (?) появление общих терминов в математической статистике». Американский статистик . 49 (2): 121–133. дои : 10.2307/2684625 . JSTOR   2684625 .

Внешние ссылки

• JEHPS: Последние публикации по истории вероятности и статистики.
• Электронный журнал истории вероятностей и статистики/Journ@l Electronique d'Histoire des Probabilities et de la Statistique
• Цифры из истории вероятности и статистики (Университет Саутгемптона)
• Материалы по истории статистики (Йоркский университет)
• Вероятность и статистика на страницах самого раннего использования (Университет Саутгемптона)
• Самое раннее использование символов в теории вероятности и статистика самых ранних использований различных математических символов