Оценка плотности ядра

Оценка плотности ядра для 100 нормально распределенных случайных чисел с использованием различных полос сглаживания.

В статистике ) — это оценка плотности вероятности ( KDE применение сглаживания ядра для оценки плотности вероятности , то есть непараметрический метод оценки функции плотности вероятности на случайной величины основе ядер в качестве весов . KDE решает фундаментальную проблему сглаживания данных, когда выводы о совокупности делаются на основе конечной выборки данных . В некоторых областях, таких как обработка сигналов и эконометрика, его также называют методом окна Парцена-Розенблатта в честь Эмануэля Парцена и Мюррея Розенблатта , которым обычно приписывают независимое создание его в его нынешней форме. Одним из известных применений оценки плотности ядра является оценка условных классов предельных плотностей данных при использовании наивного байесовского классификатора , что может повысить точность его прогнозирования.

Определение

Пусть ( x ₁ , x ₂ , ..., x _n ) будут независимыми и одинаково распределенными выборками, взятыми из некоторого одномерного распределения с неизвестной плотностью ƒ в любой заданной точке x . Нас интересует оценка формы этой функции ƒ . Его оценка плотности ядра :

${\widehat {f}}_{h}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})={\frac {1}{nh}}\sum _{i=1}^{n}K{\Big (}{\frac {x-x_{i}}{h}}{\Big )},$

где K — ядро ​​(неотрицательная функция), а h > 0 — параметр сглаживания , называемый шириной полосы или просто шириной. Ядро с индексом h называется масштабированным ядром и определяется как K _h ( x ) = ${\tfrac {1}{h}}$ К ( ${\tfrac {x}{h}}$) . Интуитивно хочется выбрать h настолько маленьким, насколько позволяют данные; однако всегда существует компромисс между предвзятостью оценщика и его дисперсией. Выбор полосы пропускания более подробно обсуждается ниже.

ряд функций ядра Обычно используется : равномерная, треугольная, двухвесовая, трехвесовая, Епанечникова (параболическая), нормальная и другие. Ядро Епанечникова оптимально в смысле среднеквадратической ошибки: хотя потеря эффективности невелика для ядер, перечисленных ранее. Из-за удобных математических свойств часто используется нормальное ядро, что означает K ( x ) = φ ( x ) , где φ — стандартная нормальная функция плотности.

Построение ядерной оценки плотности находит интерпретации в областях, выходящих за рамки оценки плотности. Например, в термодинамике это эквивалентно количеству тепла, выделяемого при тепловых ядер (фундаментальное решение уравнения теплопроводности размещении ) в каждой точке данных x _i . Подобные методы используются для построения дискретных операторов Лапласа на облаках точек для обучения многообразию (например, карта диффузии ).

Пример

Оценки плотности ядра тесно связаны с гистограммами , но могут быть наделены такими свойствами, как гладкость или непрерывность, с помощью подходящего ядра. Диаграмма ниже, основанная на этих 6 точках данных, иллюстрирует эту взаимосвязь:

Образец	1	2	3	4	5	6
Ценить	−2.1	−1.3	−0.4	1.9	5.1	6.2

Для гистограммы сначала горизонтальная ось делится на подинтервалы или интервалы, которые охватывают диапазон данных: в этом случае шесть интервалов каждый шириной 2. Всякий раз, когда точка данных попадает внутрь этого интервала, отображается блок высотой 1. /12 находится там. Если в один и тот же интервал попадает более одной точки данных, блоки складываются друг на друга.

Для оценки плотности ядра нормальные ядра со стандартным отклонением 1,5 (обозначены красными пунктирными линиями) помещаются в каждую из точек данных x _i . Ядра суммируются для получения оценки плотности ядра (сплошная синяя кривая). Гладкость оценки плотности ядра (по сравнению с дискретностью гистограммы) показывает, как оценки плотности ядра быстрее сходятся к истинной базовой плотности для непрерывных случайных величин.

Сравнение гистограммы (слева) и оценки плотности ядра (справа), построенной по тем же данным. Шесть отдельных ядер показаны красными пунктирными кривыми, оценка плотности ядра — синими кривыми. Точки данных представляют собой график ковра на горизонтальной оси.

Выбор полосы пропускания

Оценка плотности ядра (KDE) с различной шириной полосы случайной выборки из 100 точек из стандартного нормального распределения. Серый: истинная плотность (стандартная норма). Красный: KDE с h=0,05. Черный: KDE с h=0,337. Зеленый: KDE с h=2.

Пропускная способность ядра является свободным параметром , который оказывает сильное влияние на результирующую оценку. Чтобы проиллюстрировать его эффект, мы берем смоделированную случайную выборку из стандартного нормального распределения (отмеченного синими шипами на графике ковра на горизонтальной оси). Серая кривая — истинная плотность (нормальная плотность со средним значением 0 и дисперсией 1). Для сравнения, красная кривая недостаточно сглажена , поскольку она содержит слишком много ложных артефактов данных, возникающих из-за использования полосы пропускания h = 0,05, которая слишком мала. Зеленая кривая слишком сглажена, поскольку использование полосы пропускания h = 2 скрывает большую часть базовой структуры. Черная кривая с шириной полосы h = 0,337 считается оптимально сглаженной, поскольку ее оценка плотности близка к истинной плотности. Экстремальная ситуация встречается в пределе $h\to 0$ (без сглаживания), где оценка представляет собой сумму n дельта-функций с центром в координатах анализируемых образцов. В другом крайнем пределе $h\to \infty$ оценка сохраняет форму используемого ядра, центрированную по среднему значению выборок (полностью гладкая).

Наиболее распространенным критерием оптимальности, используемым для выбора этого параметра, является ожидаемая L2 _{функция} риска , также называемая среднеинтегральной квадратичной ошибкой :

$\operatorname {MISE} (h)=\operatorname {E} \!\left[\,\int ({\hat {f}}_{h}(x)-f(x))^{2}\,dx\right]$

При слабых предположениях относительно ƒ и K ( ƒ — обычно неизвестная функция реальной плотности),

$\operatorname {MISE} (h)=\operatorname {AMISE} (h)+{\mathcal {o}}((nh)^{-1}+h^{4})$

где o — маленькое обозначение o , а n — размер выборки (как указано выше). AMISE – это асимптотический MISE, т.е. е. два ведущих термина,

$\operatorname {AMISE} (h)={\frac {R(K)}{nh}}+{\frac {1}{4}}m_{2}(K)^{2}h^{4}R(f'')$

где $R(g)=\int g(x)^{2}\,dx$ для функции g , $m_{2}(K)=\int x^{2}K(x)\,dx$и $f''$ является второй производной от $f$ и $K$ это ядро. Минимум этого AMISE является решением этого дифференциального уравнения

${\frac {\partial }{\partial h}}\operatorname {AMISE} (h)=-{\frac {R(K)}{nh^{2}}}+m_{2}(K)^{2}h^{3}R(f'')=0$

или

$h_{\operatorname {AMISE} }={\frac {R(K)^{1/5}}{m_{2}(K)^{2/5}R(f'')^{1/5}}}n^{-1/5}=Cn^{-1/5}$

Ни формулы AMISE, ни формулы h _AMISE нельзя использовать напрямую, поскольку они включают в себя неизвестную функцию плотности. $f$ или его вторая производная $f''$. Чтобы преодолеть эту трудность, были разработаны различные автоматические методы выбора полосы пропускания на основе данных. Было проведено несколько обзорных исследований для сравнения их эффективности. по общему мнению, селекторы плагинов и перекрестной проверки селекторы являются наиболее полезными для широкого спектра наборов данных.

Подставляя любую полосу пропускания h, имеющую тот же асимптотический порядок n ^−1/5 как ч _AMISE в AMISEдает, что AMISE( h ) = O ( n ^−4/5 ), где O это большое O. обозначение — Можно показать, что при слабых предположениях не может существовать непараметрическая оценка, которая сходится быстрее, чем ядерная оценка. Обратите внимание, что н ^−4/5 скорость медленнее, чем типичный n ⁻¹ скорость сходимости параметрических методов.

Если полоса пропускания не является фиксированной, а изменяется в зависимости от местоположения оценки (баллонная оценка) или выборок (точечная оценка), это дает особенно мощный метод, называемый адаптивной или переменной оценкой плотности ядра полосы пропускания .

Выбор полосы пропускания для оценки плотности ядра распределений с тяжелым хвостом относительно сложен.

Эмпирический оценщик пропускной способности

данных используются базисные функции Гаусса Если для аппроксимации одномерных , а оцениваемая базовая плотность является гауссовой, оптимальным выбором для h (то есть полосы пропускания, которая минимизирует среднеинтегральную квадратичную ошибку ) является:

$h=\left({\frac {4{\hat {\sigma }}^{5}}{3n}}\right)^{\frac {1}{5}}\approx 1.06\,{\hat {\sigma }}\,n^{-1/5},$

Ан $h$ Значение считается более надежным, если оно улучшает соответствие длиннохвостым и асимметричным распределениям или бимодальным смешанным распределениям. Это часто делается эмпирически путем замены стандартного отклонения ${\hat {\sigma }}$ по параметру $A$ ниже:

$A=\min \left({\hat {\sigma }},{\frac {IQR}{1.34}}\right)$ где IQR — межквартильный размах.

Сравнение практического правила и пропускной способности решения уравнения.

Еще одна модификация, которая улучшит модель, заключается в уменьшении коэффициента с 1,06 до 0,9. Тогда окончательная формула будет такой:

$h=0.9\,\min \left({\hat {\sigma }},{\frac {IQR}{1.34}}\right)\,n^{-{\frac {1}{5}}}$

где $n$ это размер выборки.

Это приближение называется приближением нормального распределения , приближением Гаусса или Сильвермана эмпирическим правилом . Хотя это эмпирическое правило легко вычислить, его следует использовать с осторожностью, поскольку оно может дать весьма неточные оценки, когда плотность не близка к нормальной. Например, при оценке модели бимодальной гауссовой смеси

${\frac {1}{2{\sqrt {2\pi }}}}e^{-{\frac {1}{2}}(x-10)^{2}}+{\frac {1}{2{\sqrt {2\pi }}}}e^{-{\frac {1}{2}}(x+10)^{2}}$

из выборки из 200 точек на рисунке справа показаны истинная плотность и две оценки плотности ядра — одна с использованием полосы пропускания по эмпирическому правилу, а другая с использованием полосы пропускания решения уравнения. Оценка, основанная на эмпирическом правиле полосы пропускания, значительно сглажена.

Связь с оценкой плотности характеристической функции

По выборке ( x ₁ , x ₂ , ..., x _n ) естественно оценить характеристическую функцию φ ( t ) = E[ e ^ИТХ ] как

${\widehat {\varphi }}(t)={\frac {1}{n}}\sum _{j=1}^{n}e^{itx_{j}}$

Зная характеристическую функцию, можно найти соответствующую функцию плотности вероятности с помощью формулы преобразования Фурье . Одна из трудностей применения этой формулы обращения состоит в том, что она приводит к расходящемуся интегралу, поскольку оценка $\scriptstyle {\widehat {\varphi }}(t)$ ненадежно для больших t . Чтобы обойти эту проблему, оценщик $\scriptstyle {\widehat {\varphi }}(t)$ умножается на функцию демпфирования ψ _h ( t ) = ψ ( ht ) , которая равна 1 в начале координат, а затем падает до 0 на бесконечности. «Параметр пропускной способности» h контролирует, насколько быстро мы пытаемся заглушить функцию. $\scriptstyle {\widehat {\varphi }}(t)$. В частности, когда h мало, тогда ψ _h ( t ) будет приблизительно равно единице для большого диапазона t , а это означает, что $\scriptstyle {\widehat {\varphi }}(t)$ остается практически неизменным в наиболее важной области t .

Наиболее распространенным выбором функции ψ является либо равномерная функция ψ ( t ) = 1 {−1 ≤ t ≤ 1 }, что фактически означает усечение интервала интегрирования в формуле обращения до [−1/ h , 1/ h ] , или функция Гаусса ψ ( t ) = e ^{− π т 2} . функции ψ После выбора можно применить формулу обращения, и оценка плотности будет иметь вид

${\begin{aligned}{\widehat {f}}(x)&={\frac {1}{2\pi }}\int _{-\infty }^{+\infty }{\widehat {\varphi }}(t)\psi _{h}(t)e^{-itx}\,dt={\frac {1}{2\pi }}\int _{-\infty }^{+\infty }{\frac {1}{n}}\sum _{j=1}^{n}e^{it(x_{j}-x)}\psi (ht)\,dt\\[5pt]&={\frac {1}{nh}}\sum _{j=1}^{n}{\frac {1}{2\pi }}\int _{-\infty }^{+\infty }e^{-i(ht){\frac {x-x_{j}}{h}}}\psi (ht)\,d(ht)={\frac {1}{nh}}\sum _{j=1}^{n}K{\Big (}{\frac {x-x_{j}}{h}}{\Big )},\end{aligned}}$

где K — преобразование Фурье функции затухания ψ . Таким образом, оценка плотности ядра совпадает с оценкой плотности характеристической функции.

Геометрические и топологические особенности

Мы можем расширить определение (глобального) режима до локального значения и определить локальные режимы:

$M=\{x:g(x)=0,\lambda _{1}(x)<0\}$

А именно, $M$ представляет собой совокупность точек, для которых функция плотности локально максимизируется. Естественный оценщик $M$ это плагин от KDE, где $g(x)$ и $\lambda _{1}(x)$ являются версией KDE $g(x)$ и $\lambda _{1}(x)$. При мягких предположениях $M_{c}$ является последовательной оценкой $M$. Обратите внимание, что можно использовать алгоритм среднего сдвига вычислить оценщик $M_{c}$ численно.

Статистическая реализация

Неисчерпывающий список программных реализаций средств оценки плотности ядра включает:

• В версии Analytica 4.4 параметр «Сглаживание» для результатов PDF использует KDE, а из выражений он доступен через встроенный Pdf функция.
• В C / C++ FigTree — это библиотека, которую можно использовать для вычисления оценок плотности ядра с использованием обычных ядер. Доступен интерфейс MATLAB.
• В C++ libagf — это библиотека для оценки переменной плотности ядра .
• В C++ mlpack — это библиотека, которая может вычислять KDE, используя множество различных ядер. Это позволяет установить допуск на ошибки для более быстрого вычисления. Python и R. Доступны интерфейсы
• в C# и F# — Math.NET Numerics это библиотека с открытым исходным кодом для численных вычислений, которая включает оценку плотности ядра.
• В CrimeStat оценка плотности ядра реализована с использованием пяти различных функций ядра — нормальной, равномерной, четвертой степени, отрицательной экспоненциальной и треугольной. Доступны как одноядерные, так и двухядерные процедуры оценки плотности. Оценка плотности ядра также используется при интерполяции процедуры «Удар головой», при оценке двумерной функции плотности «Путешествие к преступлению» и при оценке трехмерной байесовской оценки «Путешествие к преступлению».
• В ELKI функции плотности ядра можно найти в пакете de.lmu.ifi.dbs.elki.math.statistics.kernelfunctions
• В продуктах ESRI отображение плотности ядра управляется из набора инструментов Spatial Analyst и использует ядро ​​Quartic (двухвесное).
• Королевское химическое общество создало в Excel надстройку для оценки плотности ядра на основе технического описания Комитета по аналитическим методам 4 .
• В gnuplot оценка плотности ядра реализуется с помощью smooth kdensity вариант, файл данных может содержать вес и пропускную способность для каждой точки, или пропускная способность может быть установлена ​​автоматически согласно «эмпирическому правилу Сильвермана» (см. выше).
• В Haskell плотность ядра реализована в пакете статистики .
• В IGOR Pro оценка плотности ядра реализована с помощью StatsKDE операция (добавлена ​​в Игорь Про 7.00). Пропускная способность может быть указана пользователем или оценена с помощью Сильвермана, Скотта или Боумана и Аззалини . Типы ядра: Епанечникова, Двухвесовое, Трехвесовое, Треугольное, Гауссово и Прямоугольное.
• В Java пакет машинного обучения Weka предоставляет weka.estimators.KernelEstimator . , среди прочего,
• В JavaScript пакет визуализации D3.js предлагает пакет KDE в своем пакете science.stats.
• В JMP платформа Graph Builder использует оценку плотности ядра для создания контурных графиков и областей высокой плотности (HDR) для двумерных плотностей, а также графиков скрипки и HDR для одномерных плотностей. Ползунки позволяют пользователю изменять пропускную способность. Двумерные и одномерные оценки плотности ядра также предоставляются платформами Fit Y by X и Distribution соответственно.
• В Julia оценка плотности ядра реализована в пакете KernelDensity.jl .
• В KNIME можно генерировать и строить 1D- и 2D-распределения плотности ядра, используя узлы из вклада сообщества Vernalis , например, 1D-график плотности ядра и других. Базовая реализация написана на Java .
• В MATLAB оценка плотности ядра реализуется через ksdensity функция (Панель инструментов статистики). Начиная с версии MATLAB 2018a, можно указать как полосу пропускания, так и сглаживание ядра, включая другие параметры, такие как указание диапазона плотности ядра. Альтернативно, бесплатный пакет программного обеспечения MATLAB, реализующий метод автоматического выбора полосы пропускания. доступен в Центральном файловом обмене MATLAB для
  • 1-мерные данные
  • 2-мерные данные
  • n-мерные данные
    доступен бесплатный набор инструментов MATLAB с реализацией ядерной регрессии, оценкой плотности ядра, оценкой ядра функции риска и многими другими На этих страницах (этот набор инструментов является частью книги). ).
• В Mathematica числовая оценка плотности ядра реализована функцией SmoothKernelDistribution а символьная оценка реализуется с помощью функции KernelMixtureDistribution оба из которых обеспечивают пропускную способность, управляемую данными.
• В Minitab Королевское химическое общество создало макрос для оценки плотности ядра на основе технического задания 4 Комитета по аналитическим методам.
• В библиотеке NAG оценка плотности ядра реализована через g10ba подпрограмма (доступна как в Fortran и С версии библиотеки).
• В Nuklei фокусируются методы плотности ядра C++ на данных из специальной евклидовой группы. $SE(3)$.
• В Octave оценка плотности ядра реализуется с помощью kernel_density вариант (пакет эконометрики).
• В Origin график плотности ядра 2D можно построить из пользовательского интерфейса, а две функции, Ksdensity для 1D и Ks2density для 2D, можно использовать из его LabTalk , Python или C. кода
• В Perl реализацию можно найти в модуле Статистика-KernelEstimation.
• В PHP реализацию можно найти в библиотеке MathPHP.
• В Python существует множество реализаций: Модуль pyqt_fit.kde в пакете PyQt-Fit , SciPy( scipy.stats.gaussian_kde), Государственные модели ( KDEUnivariate и KDEMultivariate) и scikit-learn ( KernelDensity) (см. сравнение ). KDEpy поддерживает взвешенные данные, и его реализация БПФ работает на несколько порядков быстрее, чем другие реализации. Широко используемая библиотека pandas [1] предлагает поддержку построения графиков kde с помощью методаplot ( df.plot(kind='kde')[2] ). Пакет getdist для взвешенных и коррелированных выборок MCMC поддерживает оптимизированную полосу пропускания, коррекцию границ и методы более высокого порядка для 1D и 2D распределений. Один из новых пакетов для оценки плотности ядра — Seaborn ( import seaborn as sns , sns.kdeplot() ). Также существует реализация KDE на графическом процессоре.
• В R это реализовано через density в базовом дистрибутиве и bw.nrd0 используется в пакете статистики, эта функция использует оптимизированную формулу из книги Сильвермана. bkde в библиотеке KernSmooth , ParetoDensityEstimation в библиотеке DataVisualizations (для оценки плотности распределения Парето), kde в библиотеке КС , dkden и dbckden в библиотеке evmix (последний для оценки плотности ядра с коррекцией границ для ограниченной поддержки), npudens в библиотеке np (числовые и категориальные данные ), sm.density в библиотеке см . Для реализации kde.R функция, не требующая установки каких-либо пакетов или библиотек, см kde.R. . Библиотека btb , посвященная городскому анализу, реализует оценку плотности ядра через kernel_smoothing.
• В САС , proc kde может использоваться для оценки одномерной и двумерной плотности ядра.
• В Apache Spark KernelDensity() сорт
• В Stata это реализовано через kdensity; например histogram x, kdensity. В качестве альтернативы доступен бесплатный модуль Stata KDENS. позволяя пользователю оценить функции плотности 1D или 2D.
• В Swift это реализовано через SwiftStats.KernelDensityEstimation в библиотеке статистики с открытым исходным кодом SwiftStats .

См. также

• Ядро (статистика)
• Сглаживание ядра
• Регрессия ядра
• Оценка плотности (с представлением других примеров)
• Средний сдвиг
• Пространство масштаба : тройки {( x , h , KDE с пропускной способностью h, оцененной в x : все x , h > 0} образуют масштабном пространстве . представление данных в
• Многомерная оценка плотности ядра
• Оценка переменной плотности ядра
• Переломы головы/хвоста

Дальнейшее чтение

• Хердле, Мюллер, Сперлих, Верватц, Непараметрические и полупараметрические методы , Springer-Verlag Berlin Heidelberg 2004, стр. 39–83.

Внешние ссылки

• Введение в оценку плотности ядра. Краткое руководство, которое объясняет, что оценки плотности ядра являются улучшением по сравнению с гистограммами.
• Оптимизация пропускной способности ядра. Бесплатный онлайн-инструмент, который генерирует оптимизированную оценку плотности ядра.
• Бесплатное онлайн-программное обеспечение (калькулятор) вычисляет оценку плотности ядра для ряда данных в соответствии со следующими ядрами: гауссовым, Епанечникова, прямоугольным, треугольным, двухвесовым, косинусом и оптокосинусом.
• Апплет оценки плотности ядра Интерактивный онлайн-пример оценки плотности ядра. Требуется .NET 3.0 или более поздняя версия.