правило Скотта

Правило Скотта — это метод выбора количества интервалов в гистограмме . Правило Скотта широко используется в программном обеспечении для анализа данных , включая R , Питон и Microsoft Excel , где это метод выбора ячейки по умолчанию.

Для набора $n$ наблюдения $x_{i}$ позволять ${\hat {f}}(x)$ быть аппроксимацией гистограммы некоторой функции $f(x)$. Интегральная среднеквадратическая ошибка (IMSE) равна

${\text{IMSE}}=E\left[\int _{\infty }^{\infty }dx({\hat {f}}(x)-f(x))^{2}\right]$

Где $E[\cdot ]$ обозначает ожидание во многих независимых розыгрышах $n$ точки данных. Тейлор расширяет до первого порядка в $h$, ширина ячейки, Скотт показал, что оптимальная ширина равна

$h^{*}=\left(6/\int _{-\infty }^{\infty }f'(x)^{2}dx\right)^{1/3}n^{-1/3}$

Эта формула также является основой правила Фридмана-Диакониса .

Взяв нормальную ссылку , т.е. предполагая, что $f(x)$ является нормальным распределением , уравнение для $h^{*}$ становится

$h^{*}=\left(24{\sqrt {\pi }}\right)^{1/3}\sigma n^{-1/3}\sim 3.5\sigma n^{-1/3}$

где $\sigma$ является стандартным отклонением нормального распределения и оценивается на основе данных. Используя это значение ширины интервала, Скотт демонстрирует, что

${\text{IMSE}}\propto n^{-2/3}$

показывая, насколько быстро аппроксимация гистограммы приближается к истинному распределению по мере увеличения количества выборок.

Правило Террелла-Скотта

Другой подход, разработанный Терреллом и Скоттом. основано на наблюдении, что среди всех плотностей $g(x)$ определенное на компактном интервале , скажем $|x|<1/2$, с производными, которые абсолютно непрерывны , плотность, которая минимизирует $\int _{\infty }^{\infty }dx(g^{(k)}(x))^{2}$ является

$f_{k}(x)={\begin{cases}{\frac {(2k+1)!}{2^{2k}(k!)^{2}}}(1-4x^{2})^{k},\quad &|x|\leq 1/2\\0&|x|>1/2\end{cases}}$

Используя это с $k=1$ в выражении для $h^{*}$ дает верхнюю границу значения ширины ячейки, которая равна

$h_{TS}^{*}=\left({\frac {4}{n}}\right)^{1/3}.$

Итак, для функций, удовлетворяющих условиям непрерывности, по крайней мере

$k_{TS}={\frac {b-a}{h^{*}}}=\left(2n\right)^{1/3}$

следует использовать контейнеры.

10 000 образцов из нормального распределения, распределенных по разным правилам. Правило Скотта использует 48 ячеек, правило Террелла-Скотта — 28, а правило Стерджеса — 15.

Это правило также называется правилом чрезмерного сглаживания. или правило Райса , назван так потому, что оба автора работали в Университете Райса . Правило Райса часто указывается с коэффициентом 2 вне кубического корня, $2\left(n\right)^{1/3}$и может рассматриваться как другое правило. Ключевое отличие от правила Скотта заключается в том, что это правило не предполагает, что данные распределены нормально, а ширина интервала зависит только от количества выборок, а не от каких-либо свойств данных.

В общем $\left(2n\right)^{1/3}$ не является целым числом, поэтому $\lceil \left(2n\right)^{1/3}\rceil$ используется там, где $\lceil \cdot \rceil$ обозначает функцию потолка .