Центральная предельная теорема

Из Википедии, бесплатной энциклопедии

В теории вероятностей центральная предельная теорема ( ЦПТ ) утверждает, что при соответствующих условиях распределение нормализованной версии выборочного среднего сходится к стандартному нормальному распределению . Это справедливо даже в том случае, если сами исходные переменные не имеют нормального распределения . Существует несколько версий CLT, каждая из которых применяется в контексте различных условий.

Теорема является ключевой концепцией теории вероятностей, поскольку она подразумевает, что вероятностные и статистические методы, работающие для нормальных распределений, могут быть применимы ко многим проблемам, связанным с другими типами распределений.

Эта теорема претерпела множество изменений в ходе формального развития теории вероятностей. Предыдущие версии теоремы датируются 1811 годом, но в своей современной общей форме этот фундаментальный результат теории вероятностей был точно сформулирован еще в 1920 году: [1] тем самым служа мостом между классической и современной теорией вероятностей.

Элементарная форма теоремы гласит следующее. Позволять обозначают случайную выборку независимые наблюдения среди населения с общим ожидаемым значением (среднее) и конечная дисперсия , и разреши обозначают выборочное среднее значение этой выборки (которая сама по себе является случайной величиной ). Тогда предел как распределения где является стандартным нормальным распределением. [2]

Другими словами, предположим, что получена большая выборка наблюдений , причем каждое наблюдение производится случайным образом таким образом, что не зависит от значений других наблюдений, и что вычисляется среднее ( среднее арифметическое ) наблюдаемых значений. Если эта процедура выполняется много раз, в результате чего получается набор наблюдаемых средних значений, центральная предельная теорема гласит, что если размер выборки был достаточно большим, распределение вероятностей этих средних значений будет близко приближаться к нормальному распределению.

Центральная предельная теорема имеет несколько вариантов. В своей общей форме случайные величины должны быть независимыми и одинаково распределенными (iid). Это требование можно ослабить; сходимость среднего значения к нормальному распределению происходит также для неидентичных распределений или для ненезависимых наблюдений, если они соответствуют определенным условиям.

Самая ранняя версия этой теоремы о том, что нормальное распределение может использоваться как приближение к биномиальному распределению , — это теорема Муавра-Лапласа .

Независимые последовательности [ править ]

Какой бы ни была форма распределения населения, выборочное распределение стремится к гауссову, а его дисперсия определяется центральной предельной теоремой. [3]

Классический CLT [ править ]

Позволять быть последовательностью случайных величин iid , имеющих распределение с ожидаемым значением , заданным формулой и конечная дисперсия, определяемая формулой Предположим, нас интересует выборочное среднее

По закону больших чисел выборочное среднее почти наверняка сходится (а значит, сходится и по вероятности ) к ожидаемому значению. как

Классическая центральная предельная теорема описывает размер и форму распределения стохастических флуктуаций вокруг детерминированного числа. во время этого сближения. Точнее, там говорится, что, как становится больше, распределение разницы между средним значением выборки и его предел при умножении на коэффициент - то есть, — приближается к нормальному распределению со средним значением и дисперсия Для достаточно большого распространение становится сколь угодно близким к нормальному распределению со средним значением и дисперсия

Полезность теоремы состоит в том, что распределение приближается к нормальности независимо от формы распределения индивидуума Формально теорему можно сформулировать следующим образом:

CLT Линдеберга – Леви Предположим, представляет собой последовательность iid случайных величин с и Тогда, как приближается к бесконечности, случайные величины сходятся по распределению к нормальному : [4]

В случае сходимость распределения означает, что кумулятивные функции распределения сходятся поточечно к CDF распределение: для каждого действительного числа

где стандартный нормальный CDF, оцениваемый в Сходимость равномерная по в смысле
где обозначает наименьшую верхнюю границу (или верхнюю границу ) набора. [5]

Ляпунов ЦЛТ [ править ]

В этом варианте центральной предельной теоремы случайные величины должны быть независимыми, но не обязательно одинаково распределенными. Теорема также требует, чтобы случайные величины иметь моменты некоторого порядка , и что скорость роста этих моментов ограничена условием Ляпунова, приведенным ниже.

Ляпунов ЦЛТ [6] - Предполагать представляет собой последовательность независимых случайных величин, каждая из которых имеет конечное ожидаемое значение и дисперсия . Определять

Если для некоторых , состояние Ляпунова

удовлетворено, то сумма сходится по распределению к стандартной нормальной случайной величине, так как уходит в бесконечность:

На практике обычно проще всего проверить условие Ляпунова при .

Если последовательность случайных величин удовлетворяет условию Ляпунова, то она удовлетворяет и условию Линдеберга. Обратный вывод, однако, не имеет места.

Линдеберг CLT [ править ]

В той же постановке и с теми же обозначениями, что и выше, условие Ляпунова можно заменить следующим, более слабым (от Линдеберга в 1920 г.).

Предположим, что для каждого

где индикаторная функция . Тогда распределение нормированных сумм
сходится к стандартному нормальному распределению .

Многомерный CLT [ править ]

Доказательства, использующие характеристические функции, могут быть распространены на случаи, когда каждый отдельный является случайным вектором в , со средним вектором и ковариационная матрица (среди компонент вектора), причем эти случайные векторы независимы и одинаково распределены. Многомерная центральная предельная теорема утверждает, что при масштабировании суммы сходятся к многомерному нормальному распределению . [7] Суммирование этих векторов производится покомпонентно.

Для позволять

быть независимыми случайными векторами. Сумма случайных векторов является
и их среднее значение
Поэтому,

Многомерная центральная предельная теорема утверждает, что

где ковариационная матрица равно

Многомерную центральную предельную теорему можно доказать с помощью теоремы Крамера – Вольда . [7]

Скорость сходимости определяется следующим Берри – Эссеена результатом типа :

Теорема [8] - Позволять быть независимым -значные случайные векторы, каждый из которых имеет нулевое среднее значение. Писать и предположим является обратимым. Позволять быть -мерный гауссиан с тем же средним значением и той же ковариационной матрицей, что и . Тогда для всех выпуклых множеств ,

где это универсальная константа, , и обозначает евклидову норму на .

Неизвестно, является ли фактор необходимо. [9]

Обобщенная теорема центральная предельная

Обобщенная центральная предельная теорема (GCLT) была результатом усилий нескольких математиков ( Бернштейна , Линдеберга , Леви , Феллера , Колмогорова и других) в период с 1920 по 1937 год. [10] Первое полное доказательство GCLT было опубликовано в 1937 году Полем Леви на французском языке. [11] Англоязычная версия полного доказательства GCLT доступна в переводе книги Гнеденко и Колмогорова 1954 года. [12]

Заявление GCLT следующее: [13]

Невырожденная случайная величина Z является α -стабильной для некоторого 0 < α ≤ 2 тогда и только тогда, когда существует независимая, одинаково распределенная последовательность случайных величин X 1 , X 2 , X 3 , ... и констант a n > 0, bn с
а п ( Икс 1 + ... + Икс п ) - б п Z .
Здесь → означает, что последовательность сумм случайных величин сходится по распределению; т. е. соответствующие распределения удовлетворяют F n ( y ) → F ( y ) во всех точках непрерывности F.

Другими словами, если суммы независимых, одинаково распределенных случайных величин сходятся по распределению к некоторому Z , то Z должно быть стабильным распределением .

Зависимые процессы [ править ]

CLT при слабой зависимости [ править ]

Полезным обобщением последовательности независимых, одинаково распределенных случайных величин является случайный процесс смешивания в дискретном времени; Грубо говоря, «смешивание» означает, что случайные величины, находящиеся далеко друг от друга во времени, почти независимы. Несколько видов смешивания используются в эргодической теории и теории вероятностей. См. особенно сильное смешивание (также называемое α-смешиванием), определяемое формулой где – так называемый коэффициент сильного смешивания .

Упрощенная формулировка центральной предельной теоремы при сильном перемешивании такова: [14]

Теорема . Предположим, что является стационарным и -смешивание с и это и . Обозначим , то предел

существует, и если затем сходится по распределению к .

Фактически,

где ряд сходится абсолютно.

Предположение нельзя опустить, поскольку асимптотическая нормальность не выполняется для где являются еще одной стационарной последовательностью .

Существует более сильная версия теоремы: [15] предположение заменяется на , и предположение заменяется на

Существование таких обеспечивает заключение. Энциклопедическое изложение предельных теорем в условиях смешивания см. ( Bradley 2007 ).

Разница по Мартингейлу CLT [ править ]

Теорема . Пусть мартингал удовлетворить

  • по вероятности при n → ∞ ,
  • для каждого ε > 0 , при n → ∞ ,

затем сходится по распределению к как . [16] [17]

Замечания [ править ]

Доказательство классической CLT [ править ]

Центральная предельная теорема имеет доказательство с использованием характеристических функций . [18] Это похоже на доказательство (слабого) закона больших чисел .

Предполагать являются независимыми и одинаково распределенными случайными величинами, каждая со средним значением и конечная дисперсия . Сумма имеет в виду и дисперсия . Рассмотрим случайную величину

где на последнем шаге мы определили новые случайные величины , каждый с нулевым средним значением и единичной дисперсией ( ). Характеристическая функция дан кем-то
где на последнем шаге мы использовали тот факт, что все распределены одинаково. Характеристическая функция по теореме Тейлора ,
где является « маленьким обозначением » для некоторой функции который стремится к нулю быстрее, чем . По пределу показательной функции ( ), характеристическая функция равно

Все члены высшего порядка исчезают в пределе . Правая часть равна характеристической функции стандартного нормального распределения. , что согласно теореме Леви о непрерывности означает , что распределение подойдет как . Таким образом, среднее выборочное

таков, что
сходится к нормальному распределению , откуда следует центральная предельная теорема.

Сходимость к пределу [ править ]

Центральная предельная теорема дает только асимптотическое распределение . В качестве приближения для конечного числа наблюдений оно обеспечивает разумное приближение только тогда, когда оно близко к пику нормального распределения; чтобы дойти до хвостов, требуется очень большое количество наблюдений. [ нужна цитата ]

Сходимость в центральной предельной теореме равномерна, поскольку предельная кумулятивная функция распределения непрерывна. Если третий центральный момент существует и конечна, то скорость сходимости не менее порядка (см. теорему Берри–Эссеена ). метод Штейна [19] может использоваться не только для доказательства центральной предельной теоремы, но и для оценки скорости сходимости выбранных метрик. [20]

Сходимость к нормальному распределению монотонна в том смысле, энтропия что возрастает монотонно до нормального распределения. [21]

Центральная предельная теорема применяется, в частности, к суммам независимых и одинаково распределенных дискретных случайных величин . Сумма дискретных случайных величин по-прежнему остается дискретной случайной величиной , так что мы сталкиваемся с последовательностью дискретных случайных величин , чья кумулятивная функция распределения вероятностей сходится к кумулятивной функции распределения вероятностей, соответствующей непрерывной переменной (а именно, функции нормального распределения ) . Это означает, что если мы построим гистограмму реализаций суммы n независимых одинаковых дискретных переменных, то кусочно-линейная кривая, соединяющая центры верхних граней прямоугольников, образующих гистограмму, сходится к кривой Гаусса при n приближении к бесконечности; это соотношение известно как теорема Муавра – Лапласа . В статье о биномиальном распределении подробно описано такое применение центральной предельной теоремы в простом случае, когда дискретная переменная принимает только два возможных значения.

Распространенные заблуждения [ править ]

Исследования показали, что центральная предельная теорема подвержена нескольким распространённым, но серьёзным заблуждениям, некоторые из которых встречаются в широко используемых учебниках. [22] [23] [24] К ним относятся:

  • Ошибочное убеждение, что теорема применима к случайной выборке любой переменной, а не к средним значениям (или суммам) случайных величин iid , извлеченным из совокупности путем повторной выборки. То есть теорема предполагает, что случайная выборка создает выборочное распределение, сформированное из различных значений средних (или сумм) таких случайных величин.
  • Ошибочное убеждение, что теорема гарантирует, что случайная выборка приводит к возникновению нормального распределения для достаточно больших выборок любой случайной величины, независимо от распределения населения. В действительности такая выборка асимптотически воспроизводит свойства популяции, что является интуитивным результатом, подкрепленным теоремой Гливенко-Кантелли .
  • Ошибочное убеждение, что эта теорема приводит к хорошему приближению нормального распределения для размеров выборки, превышающих 30, [25] позволяющие делать надежные выводы независимо от характера популяции. На самом деле это эмпирическое правило не имеет веского обоснования и может привести к серьезно ошибочным выводам. См. Z-тест , чтобы узнать, где выполняется приближение.

с законом чисел Связь больших

Закон больших чисел , а также центральная предельная теорема являются частичным решением общей проблемы: «Каково предельное поведение Sn при n стремлении к бесконечности?» В математическом анализе асимптотические ряды являются одним из самых популярных инструментов, используемых для решения таких вопросов.

Предположим, что у нас есть асимптотическое разложение :

Разделив обе части на φ 1 ( n ) получим 1 и приняв предел , , коэффициент члена высшего порядка в разложении, который представляет скорость, с которой f ( n ) изменяется в своем ведущем члене.

Неформально можно сказать: « f ( n ) растет примерно как 1 φ1 ( a n ) » . Взяв разницу между f ( n ) и ее аппроксимацией, а затем разделив ее на следующий член разложения, мы придем к более уточненному утверждению о f ( n ) :

Здесь можно сказать, что разница между функцией и ее аппроксимацией растет примерно как a 2 φ 2 ( n ) . Идея состоит в том, что деление функции на соответствующие нормализующие функции и рассмотрение предельного поведения результата может многое рассказать нам о предельном поведении самой исходной функции.

Неформально, нечто подобное происходит, когда сумма независимых Sn одинаково распределенных случайных величин X 1 , ..., X n исследуется в классической теории вероятностей. [ нужна цитата ] Если каждое X i имеет конечное среднее µ , то по закону больших чисел S н / п м . [26] Если, кроме того, каждый X i имеет конечную дисперсию σ 2 , то по центральной предельной теореме

где ξ распределена как N (0, σ 2 ) . Это дает значения первых двух констант в неформальном разложении

В случае, когда X i не имеет конечного среднего значения или дисперсии, сходимость сдвинутой и масштабированной суммы также может происходить с различными коэффициентами центрирования и масштабирования:

или неофициально

Распределения Ξ , которые могут возникнуть таким образом, называются устойчивыми . [27] Очевидно, что нормальное распределение стабильно, но существуют и другие стабильные распределения, такие как распределение Коши , для которых среднее значение или дисперсия не определены. Масштабный коэффициент b n может быть пропорционален n с , для любого c 1/2 ; его также можно умножить на медленно меняющуюся функцию n . [28] [29]

Закон повторного логарифма определяет то, что происходит «между» законом больших чисел и центральной предельной теоремой. В частности, там говорится, что нормализующая функция n log log n , промежуточная по размеру между n закона больших чисел и n центральной предельной теоремы, обеспечивает нетривиальное предельное поведение.

Альтернативные утверждения теоремы [ править ]

Функции плотности [ править ]

Плотность свертку суммы двух или более независимых переменных представляет собой их плотностей (если эти плотности существуют). Таким образом, центральную предельную теорему можно интерпретировать как утверждение о свойствах функций плотности при свертке: свертка ряда функций плотности стремится к нормальной плотности по мере неограниченного увеличения числа функций плотности. Эти теоремы требуют более сильных гипотез, чем приведенные выше формы центральной предельной теоремы. Теоремы этого типа часто называют локальными предельными теоремами. См. Петрова [30] для конкретной локальной предельной теоремы для сумм независимых и одинаково распределенных случайных величин .

Характеристические функции [ править ]

Поскольку характеристическая функция свертки является произведением характеристических функций участвующих плотностей, центральная предельная теорема имеет еще одну формулировку: произведение характеристических функций ряда функций плотности становится близким к характеристической функции нормальной плотности. поскольку число функций плотности неограниченно увеличивается в условиях, изложенных выше. В частности, к аргументу характеристической функции необходимо применить соответствующий масштабный коэффициент.

Эквивалентное утверждение можно сделать и о преобразованиях Фурье , поскольку характеристическая функция по сути является преобразованием Фурье.

Вычисление дисперсии [ править ]

Пусть S n — сумма n случайных величин. Многие центральные предельные теоремы обеспечивают такие условия, что / Sn Var ( S n ) сходится по распределению к N (0,1) (нормальному распределению со средним значением 0, дисперсией 1) при n → ∞ . В некоторых случаях можно найти постоянную σ 2 и функция f(n) такая, что S n /(σ n⋅f ( n ) ) сходится по распределению к N (0,1) при n → ∞ .

Лемма [31] - Предполагать представляет собой последовательность вещественных и строго стационарных случайных величин с для всех , , и . Построить

  1. Если абсолютно сходится, , и затем как где .
  2. Если вдобавок и сходится по распределению к как затем также сходится по распределению к как .

Расширения [ править ]

положительных величин Произведения случайных

Логарифм произведения — это просто сумма логарифмов множителей. Следовательно, когда логарифм произведения случайных величин, принимающих только положительные значения, приближается к нормальному распределению, само произведение приближается к логнормальному распределению . Многие физические величины (особенно масса или длина, которые зависят от масштаба и не могут быть отрицательными) являются продуктами различных случайных факторов, поэтому они подчиняются логарифмически нормальному распределению. Эту мультипликативную версию центральной предельной теоремы иногда называют законом Жибрата .

В то время как центральная предельная теорема для сумм случайных величин требует условия конечной дисперсии, соответствующая теорема для произведений требует соответствующего условия интегрируемости функции плотности с квадратом. [32]

За пределами классических рамок [ править ]

Асимптотическая нормальность, то есть сходимость к нормальному распределению после соответствующего сдвига и изменения масштаба, представляет собой явление гораздо более общее, чем рассмотренная выше классическая модель, а именно суммы независимых случайных величин (или векторов). Время от времени открываются новые рамки; на данный момент не существует единой объединяющей структуры.

Выпуклое тело [ править ]

Теорема . Существует последовательность ε n ↓ 0 , для которой выполнено следующее. Пусть n ≥ 1 и случайные величины X 1 , ..., X n имеют логарифмически вогнутую плотность соединений f такую, что f ( x 1 , ..., x n ) = f (| x 1 |, .. ., | x n |) для всех x 1 , ..., x n и E( X 2
k
) = 1
для всех k = 1, ..., n . Тогда распределение

-близко к в общем вариационном расстоянии . [33]

Эти два ε n -близких распределения имеют плотности (фактически логарифмически вогнутые плотности), таким образом, общее дисперсионное расстояние между ними представляет собой интеграл от абсолютного значения разности плотностей. Сходимость в общей вариации сильнее, чем слабая.

Важным примером логарифмически вогнутой плотности является функция, постоянная внутри данного выпуклого тела и исчезающая снаружи; оно соответствует равномерному распределению на выпуклом теле, что объясняет термин «центральная предельная теорема для выпуклых тел».

Другой пример: f ( x 1 , ..., x n ) = const · exp(−(| x 1 | а + ⋯ + | х п | а ) б ), где α > 1 и αβ > 1 . Если β = 1, то f ( x 1 , ..., x n ) разлагается на const · exp (−| x 1 | а ) … exp(−| x n | а ), что означает, что X 1 , ..., X n независимы. Однако в целом они зависимы.

Условие f ( x 1 , ..., x n ) = f (| x 1 |, ..., | x n |) гарантирует, что X 1 , ..., X n имеют нулевое среднее и некоррелированы ; [ нужна цитата ] тем не менее, они не обязательно должны быть независимыми или даже попарно независимыми . [ нужна цитата ] Кстати, попарная независимость не может заменить независимость в классической центральной предельной теореме. [34]

Вот результат типа Берри-Эссеена .

Теорема . Пусть X 1 , ..., X n удовлетворяют условиям предыдущей теоремы, тогда [35]

для всех a < b ; здесь C универсальная (абсолютная) константа . Более того, для любых c 1 , ..., c n R таких, что c 2
1
+ ⋯ + с 2
п
= 1
,

Распределение X 1 + ⋯ + X n / n не обязательно должно быть приблизительно нормальным (на самом деле оно может быть равномерным). [36] Однако распределение c 1 X 1 + ⋯ + c n X n близко к (в суммарном расстоянии вариации) для большинства векторов ( c 1 , ..., c n ) по равномерному распределению на сфере c 2
1
+ ⋯ + с 2
п
= 1
.

Лакунарный тригонометрический ряд [ править ]

Теорема ( Салем Зигмунд ) Пусть U — случайная величина, распределенная равномерно на (0,2π) , и X k = r k cos( n k U + a k ) , где

  • nk что удовлетворяют условию лакунарности: существует q > 1 такое, + nk 1 qnk для всех k ,
  • r k таковы, что
  • 0 ≤ а k < 2π .

Затем [37] [38]

сходится по распределению к .

Гауссовы многогранники [ править ]

Теорема . Пусть A 1 , ..., An независимые случайные точки на плоскости R. 2 каждый из которых имеет двумерное стандартное нормальное распределение. Пусть Kn выпуклая оболочка этих точек, а Xn площадь Kn . Тогда [39]

сходится по распределению к поскольку n стремится к бесконечности.

То же самое справедливо и для всех размерностей, больших 2.

Многогранник n K . называется гауссовским случайным многогранником

Аналогичный результат справедлив для количества вершин (гауссова многогранника), количества ребер и, фактически, граней всех измерений. [40]

Линейные функции ортогональных матриц [ править ]

Линейная функция матрицы M — это линейная комбинация ее элементов (с заданными коэффициентами), M ↦ tr( AM ) , где A — матрица коэффициентов; см. Трассировка (линейная алгебра)#Внутренний продукт .

Говорят , что случайная ортогональная матрица распределена равномерно, если ее распределение является нормализованной мерой Хаара на ортогональной группе O( n , R ) ; см. Матрицу вращения#Равномерные матрицы случайного вращения .

Теорема . Пусть M — случайная ортогональная матрица размера n × n , распределенная равномерно, а A — фиксированная матрица размера n × n такая, что tr( AA *) = n , и пусть X = tr( AM ) . Затем [41] распределение X близко к в метрике полной вариации до [ нужны разъяснения ] 2 3 / п - 1 .

Подпоследовательности [ править ]

Теорема . Пусть случайные величины X 1 , X 2 , ... ∈ L 2 (Ω) таковы, что X n → 0 слабо в L 2 (Ω) и X
n
→ 1
слабо в L 1 (Ω) . Тогда существуют целые числа n 1 < n 2 < ⋯ такие, что

сходится по распределению к поскольку k стремится к бесконечности. [42]

Случайное блуждание по кристаллической решетке [ править ]

Центральная предельная теорема может быть установлена ​​для простого случайного блуждания по кристаллической решетке (бесконечнократного абелева графа, накрывающего конечный граф) и используется для проектирования кристаллических структур. [43] [44]

Приложения и примеры [ править ]

Простой пример центральной предельной теоремы — бросок множества одинаковых несмещенных игральных костей. Распределение суммы (или среднего) выпавших чисел будет хорошо аппроксимироваться нормальным распределением. Поскольку реальные величины часто представляют собой сбалансированную сумму многих ненаблюдаемых случайных событий, центральная предельная теорема также частично объясняет преобладание нормального распределения вероятностей. Это также оправдывает приближение статистики большой выборки к нормальному распределению в контролируемых экспериментах.

Сравнение функций плотности вероятности p ( k ) для суммы n справедливых 6-гранных игральных костей, чтобы показать их сходимость к нормальному распределению с увеличением n в соответствии с центральной предельной теоремой. На правом нижнем графике сглаженные профили предыдущих графиков масштабируются, накладываются и сравниваются с нормальным распределением (черная кривая).
Этот рисунок демонстрирует центральную предельную теорему. Выборочные средние значения генерируются с помощью генератора случайных чисел, который извлекает числа от 0 до 100 из равномерного распределения вероятностей. Он показывает, что увеличение размеров выборки приводит к более тесному распределению 500 измеренных средних значений выборки относительно среднего значения генеральной совокупности (в данном случае 50). Он также сравнивает наблюдаемые распределения с распределениями, которые можно было бы ожидать для нормализованного распределения Гаусса, и показывает значения хи-квадрат , которые количественно определяют степень соответствия (подбор является хорошим, если приведенное значение хи-квадрат меньше или приблизительно равен единице). Входными данными для нормализованной функции Гаусса является среднее значение выборочных средних (~50) и среднее стандартное отклонение выборки, деленное на квадратный корень из размера выборки (~28,87/ n ), которое называется стандартным отклонением среднего значения ( поскольку речь идет о распространении выборочных средств).
Еще одно моделирование с использованием биномиального распределения. Были сгенерированы случайные 0 и 1, а затем их средние значения рассчитаны для размеров выборки от 1 до 2048. Обратите внимание, что по мере увеличения размера выборки хвосты становятся тоньше, а распределение становится более концентрированным вокруг среднего значения.

Регрессия [ править ]

Регрессионный анализ , и в частности обычный метод наименьших квадратов , определяет, что зависимая переменная зависит в соответствии с некоторой функцией от одной или нескольких независимых переменных с аддитивной ошибкой . Различные типы статистических выводов по регрессии предполагают, что член ошибки имеет нормальное распределение. Это предположение можно оправдать, если предположить, что член ошибки на самом деле представляет собой сумму многих независимых членов ошибки; даже если отдельные члены ошибок не распределены нормально, согласно центральной предельной теореме их сумма может быть хорошо аппроксимирована нормальным распределением.

Другие иллюстрации [ править ]

Учитывая ее важность для статистики, доступен ряд статей и компьютерных пакетов, которые демонстрируют сходимость, связанную с центральной предельной теоремой. [45]

История [ править ]

Голландский математик Хенк Теймс пишет: [46]

Центральная предельная теорема имеет интересную историю. Первая версия этой теоремы была постулирована математиком французского происхождения Абрахамом де Муавром , который в замечательной статье, опубликованной в 1733 году, использовал нормальное распределение для аппроксимации распределения числа орлов в результате множества подбрасываний честной монеты. Это открытие намного опередило свое время и было почти забыто, пока знаменитый французский математик Пьер-Симон Лаплас не спас его от безвестности в своей монументальной работе «Аналитическая теория вероятностей» , опубликованной в 1812 году. Лаплас расширил открытие Де Муавра, аппроксимировав биномиальное уравнение распределение с нормальным распределением. Но, как и в случае с Муавром, открытие Лапласа в его время не привлекло особого внимания. Лишь в конце девятнадцатого века важность центральной предельной теоремы была осознана, когда в 1901 году русский математик Александр Ляпунов определил ее в общих чертах и ​​точно доказал, как она работает математически. В настоящее время центральная предельная теорема считается неофициальным правителем теории вероятностей.

Сэр Фрэнсис Гальтон так описал центральную предельную теорему: [47]

Я едва ли знаю что-либо, столь же способное поразить воображение, как чудесная форма космического порядка, выраженная «Законом частоты ошибок». Закон был бы персонифицирован греками и обожествлен, если бы они знали о нем. Оно царит безмятежно и в полном самоуничижении, среди дикой неразберихи. Чем огромнее толпа и чем больше кажущаяся анархия, тем совершеннее ее власть. Это высший закон Неразумия. Всякий раз, когда большая выборка хаотических элементов берется в руки и распределяется по порядку их величины, оказывается, что неожиданная и самая красивая форма регулярности все это время была скрытой.

Фактический термин «центральная предельная теорема» (по-немецки: «zentraler Grenzwertsatz») впервые был использован Джорджем Полиа в 1920 году в названии статьи. [48] [49] Пойа назвал эту теорему «центральной» из-за ее важности в теории вероятностей. По мнению Ле Кама, французская школа вероятности интерпретирует слово « центральный» в том смысле, что «оно описывает поведение центра распределения, а не его хвостов». [49] Аннотация к статье О центральной предельной теореме исчисления вероятностей и проблеме моментов» . Пойа « [48] в 1920 переводится следующим образом.

Возникновение гауссовой плотности вероятности 1 = e х 2 в повторяющихся экспериментах, в ошибках измерений, приводящих к сочетанию очень многих и очень малых элементарных ошибок, в диффузионных процессах и т. д., можно объяснить, как известно, той же предельной теоремой, играющей центральное значение. роль в исчислении вероятностей. Фактического первооткрывателя этой предельной теоремы следует назвать Лапласом; вероятно, что ее строгое доказательство было впервые дано Чебышевым, а наиболее резкую ее формулировку можно найти, насколько мне известно, в статье Ляпунова . ...

Подробный отчет об истории теоремы, подробно описывающий основополагающую работу Лапласа, а также вклад Коши , Бесселя и Пуассона , предоставлен Хальдом. [50] Два исторических отчета, один из которых охватывает развитие от Лапласа до Коши, а второй - вклад фон Мизеса , Полиа , Линдеберга , Леви и Крамера в 1920-е годы, предоставлены Гансом Фишером. [51] Ле Кам описывает период около 1935 года. [49] Бернштейн [52] представляет историческую дискуссию, посвященную работе Пафнутия Чебышева и его учеников Андрея Маркова и Александра Ляпунова , которая привела к первым доказательствам ЦПТ в общих условиях.

Любопытная сноска к истории Центральной предельной теоремы заключается в том, что доказательство результата, аналогичного CLT Линдеберга 1922 года, было предметом стипендиальной диссертации Алана Тьюринга в 1934 году для Королевского колледжа университета Кембриджского . Только после отправки работы Тьюринг узнал, что она уже доказана. Следовательно, диссертация Тьюринга не была опубликована. [53]

См. также [ править ]

Примечания [ править ]

  1. ^ Фишер (2011) , с. [ нужна страница ] .
  2. ^ Монтгомери, Дуглас К.; Рангер, Джордж К. (2014). Прикладная статистика и вероятность для инженеров (6-е изд.). Уайли. п. 241. ИСБН  9781118539712 .
  3. ^ Руо, Матье (2013). Вероятность, статистика и оценка (PDF) . п. 10. Архивировано (PDF) из оригинала 9 октября 2022 г.
  4. ^ Биллингсли (1995) , с. 357.
  5. ^ Бауэр (2001) , с. 199, Теорема 30.13.
  6. ^ Биллингсли (1995) , с. 362.
  7. ^ Перейти обратно: а б ван дер Ваарт, AW (1998). Асимптотическая статистика . Нью-Йорк, штат Нью-Йорк: Издательство Кембриджского университета. ISBN  978-0-521-49603-2 . LCCN   98015176 .
  8. ^ О'Доннелл, Райан (2014). «Теорема 5.38» . Архивировано из оригинала 8 апреля 2019 г. Проверено 18 октября 2017 г.
  9. ^ Бенткус, В. (2005). «Ляпуновского типа в переплете ". Theory Probab. Appl . 49 (2): 311–323. doi : 10.1137/S0040585X97981123 .
  10. ^ Ле Кам, Л. (февраль 1986 г.). «Центральная предельная теорема около 1935 года». Статистическая наука . 1 (1): 78–91. JSTOR   2245503 .
  11. ^ Леви, Поль (1937). Комбинационная теория непредсказуемых переменных . Париж: Готье-Виллар.
  12. ^ Гнеденко Борис Владимирович; Кологоров Андрей Николаевич; Дуб, Джозеф Л.; Сюй, Пао-Лу (1968). Предельные распределения сумм независимых случайных величин . Ридинг, Массачусетс: Аддисон-Уэсли.
  13. ^ Нолан, Джон П. (2020). Одномерные стабильные распределения, модели для данных с тяжелыми хвостами . Серия Springer по исследованию операций и финансовой инженерии. Швейцария: Шпрингер. дои : 10.1007/978-3-030-52915-4 . ISBN  978-3-030-52914-7 . S2CID   226648987 .
  14. ^ Биллингсли (1995) , Теорема 27.4.
  15. ^ Дарретт (2004) , разд. 7.7(в), Теорема 7.8.
  16. ^ Дарретт (2004) , разд. 7.7, теорема 7.4.
  17. ^ Биллингсли (1995) , Теорема 35.12.
  18. ^ Лимоны, Дон (2003). Введение в случайные процессы в физике . Издательство Университета Джонса Хопкинса. дои : 10.56021/9780801868665 . ISBN  9780801876387 . Проверено 11 августа 2016 г.
  19. ^ Штейн, К. (1972). «Оценка погрешности нормального приближения распределения суммы зависимых случайных величин» . Труды шестого симпозиума Беркли по математической статистике и теории вероятностей . 6 (2): 583–602. МР   0402873 . Збл   0278.60026 .
  20. ^ Чен, LHY; Гольдштейн, Л.; Шао, КМ (2011). Нормальное приближение методом Штейна . Спрингер. ISBN  978-3-642-15006-7 .
  21. ^ Артштейн, С. ; Болл, К .; Барт, Ф .; Наор, А. (2004). «Решение проблемы Шеннона о монотонности энтропии» . Журнал Американского математического общества . 17 (4): 975–982. дои : 10.1090/S0894-0347-04-00459-X .
  22. ^ Брюэр, Дж. К. (1985). «Учебники по поведенческой статистике: источник мифов и заблуждений?». Журнал образовательной статистики . 10 (3): 252–268. дои : 10.3102/10769986010003252 . S2CID   119611584 .
  23. ^ Ю, К.; Беренс, Дж.; Спенсер, А. Выявление заблуждений в центральной предельной теореме и связанных с ней концепциях, Американской ассоциации исследований в области образования, 19 апреля 1995 г. лекция
  24. ^ Сотос, АЭК; Ванхоф, С.; Ван ден Ноортгейт, В.; Онгена, П. (2007). «Заблуждения студентов о статистических выводах: обзор эмпирических данных исследований в области статистического образования». Обзор образовательных исследований . 2 (2): 98–113. дои : 10.1016/j.edurev.2007.04.001 .
  25. ^ «Выборочное распределение выборочного среднего (видео) | Академия Хана» . 2 июня 2023 г. Архивировано из оригинала 2 июня 2023 г. Проверено 8 октября 2023 г.
  26. ^ Розенталь, Джеффри Сет (2000). Первый взгляд на строгую теорию вероятностей . Всемирная научная. Теорема 5.3.4, с. 47. ИСБН  981-02-4322-7 .
  27. ^ Джонсон, Оливер Томас (2004). Теория информации и центральная предельная теорема . Издательство Имперского колледжа. п. 88. ИСБН  1-86094-473-6 .
  28. ^ Учайкин Владимир Владимирович; Золотарев, В.М. (1999). Случайность и стабильность: Стабильные дистрибутивы и их приложения . ВСП. стр. 61–62. ISBN  90-6764-301-7 .
  29. ^ Бородин А.Н.; Ибрагимов И.А.; Судаков В.Н. (1995). Предельные теоремы для функционалов случайных блужданий . Книжный магазин АМС. Теорема 1.1, с. 8. ISBN  0-8218-0438-3 .
  30. ^ Петров, В.В. (1976). Суммы независимых случайных величин . Нью-Йорк-Гейдельберг: Springer-Verlag. гл. 7. ISBN  9783642658099 .
  31. ^ Хью, Патрик Чисан (2017). «Асимптотическое распределение вознаграждений, накопленных в результате чередующихся процессов обновления». Статистика и вероятностные буквы . 129 : 355–359. дои : 10.1016/j.spl.2017.06.027 .
  32. ^ Ремпала, Г.; Весоловский, Дж. (2002). «Асимптотика произведений сумм и U -статистика» (PDF) . Электронные коммуникации в теории вероятности . 7 : 47–54. дои : 10.1214/ecp.v7-1046 .
  33. ^ Клартаг (2007) , Теорема 1.2.
  34. ^ Дарретт (2004) , раздел 2.4, пример 4.5.
  35. ^ Клартаг (2008) , Теорема 1.
  36. ^ Клартаг (2007) , Теорема 1.1.
  37. ^ Зигмунд, Антони (2003) [1959]. Тригонометрический ряд . Издательство Кембриджского университета. том. II, разд. XVI.5, Теорема 5-5. ISBN  0-521-89053-5 .
  38. ^ Гапошкин (1966) , Теорема 2.1.13.
  39. ^ Ламб и Ву (2007) , Теорема 1.1.
  40. ^ Ламб и Ву (2007) , Теорема 1.2.
  41. ^ Мекес, Элизабет (2008). «Линейные функции на классических группах матриц». Труды Американского математического общества . 360 (10): 5355–5366. arXiv : math/0509441 . дои : 10.1090/S0002-9947-08-04444-9 . S2CID   11981408 .
  42. ^ Гапошкин (1966) , Разд. 1,5.
  43. ^ Котани, М.; Сунада, Тошиказу (2003). Спектральная геометрия кристаллических решеток . Том. 338. Современная математика. стр. 100-1 271–305. ISBN  978-0-8218-4269-0 .
  44. ^ Сунада, Тошиказу (2012). Топологическая кристаллография – с точки зрения дискретного геометрического анализа . Обзоры и учебные пособия по прикладным математическим наукам. Том. 6. Спрингер. ISBN  978-4-431-54177-6 .
  45. ^ Марасингхе, М.; Микер, В.; Кук, Д.; Шин, Т.С. (август 1994 г.). Использование графики и моделирования для обучения статистическим концепциям . Ежегодное собрание Американской ассоциации статистиков, Торонто, Канада.
  46. ^ Хенк, Таймс (2004). Понимание вероятности: правила случая в повседневной жизни . Кембридж: Издательство Кембриджского университета. п. 169. ИСБН  0-521-54036-4 .
  47. ^ Гальтон, Ф. (1889). Естественное наследование . п. 66.
  48. ^ Перейти обратно: а б Поля, Джордж (1920). «О центральной предельной теореме вычисления вероятностей и проблеме моментов». Математический журнал (на немецком языке). 8 (3–4): 171–181. дои : 10.1007/BF01206525 . S2CID   123063388 .
  49. ^ Перейти обратно: а б с Ле Кам, Люсьен (1986). «Центральная предельная теорема около 1935 года» . Статистическая наука . 1 (1): 78–91. дои : 10.1214/ss/1177013818 .
  50. ^ Хальд, Андреас (22 апреля 1998 г.). История математической статистики с 1750 по 1930 год (PDF) . Уайли. глава 17. ISBN  978-0471179122 . Архивировано (PDF) из оригинала 9 октября 2022 г.
  51. ^ Фишер (2011) , Глава 2; Глава 5.2.
  52. ^ Бернштейн, С.Н. (1945). "О работах П. Л. Чебышева по теории вероятностей". В Бернштейне., СН (ред.). Научное наследие П.Л. Чебышева. Выпуск Первый: Математика . Научное наследие П.Л. Чебышева. Часть I: Математика . Москва и Ленинград: Академия наук СССР. п. 174.
  53. ^ Забелл, С.Л. (1995). «Алан Тьюринг и центральная предельная теорема». Американский математический ежемесячник . 102 (6): 483–494. дои : 10.1080/00029890.1995.12004608 .
  54. ^ Йоргенсен, Бент (1997). Теория моделей дисперсии . Чепмен и Холл. ISBN  978-0412997112 .

Ссылки [ править ]

Внешние ссылки [ править ]