Непараметрическая регрессия

Непараметрическая регрессия — это категория регрессионного анализа , в которой предиктор не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть для связи между предикторами и зависимой переменной не предполагается никакой параметрической формы. Непараметрическая регрессия требует большего размера выборки, чем регрессия, основанная на параметрических моделях , поскольку данные должны обеспечивать структуру модели, а также оценки модели.

Определение [ править ]

В непараметрической регрессии у нас есть случайные величины $X$ и $Y$ и предположим следующее соотношение:

\mathbb {E} [Y\mid X=x]=m(x),

где $m(x)$ — некоторая детерминированная функция. Линейная регрессия — это ограниченный случай непараметрической регрессии, когда $m(x)$ предполагается аффинным.Некоторые авторы используют несколько более сильное предположение об аддитивном шуме:

Y=m(X)+U,

где случайная величина $U$ — это «шумовой член» со средним значением 0.Без предположения, что $m$ принадлежит определенному параметрическому семейству функций, невозможно получить несмещенную оценку для $m$ , однако большинство оценок согласуются при подходящих условиях.

Список алгоритмов непараметрической общего назначения регрессии

Это неполный список непараметрических моделей регрессии.

Примеры [ править ]

процесса кригинг или Регрессия гауссовского

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается априорная гауссова величина. Предполагается, что ошибки имеют многомерное нормальное распределение , а кривая регрессии оценивается по ее апостериорной моде . Гауссов априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются с помощью эмпирического метода Байеса . Гиперпараметры обычно указывают априорное ковариационное ядро. В случае, если ядро также должно быть выведено непараметрически из данных, критический фильтр можно использовать .

Сглаживающие сплайны интерпретируются как апостериорная мода регрессии гауссовского процесса.

Регрессия ядра [ править ]

Пример кривой (красная линия), подходящей к небольшому набору данных (черные точки) с помощью непараметрической регрессии с использованием сглаживателя ядра Гаусса. Область, заштрихованная розовым цветом, иллюстрирует функцию ядра, применяемую для получения оценки y для заданного значения x. Функция ядра определяет вес, присваиваемый каждой точке данных при вычислении оценки целевой точки.

Регрессия ядра оценивает непрерывную зависимую переменную на основе ограниченного набора точек данных путем свертки местоположений точек данных с помощью функции ядра — грубо говоря, функция ядра определяет, как «размыть» влияние точек данных, чтобы их значения можно было используется для прогнозирования значения для близлежащих местоположений.

Деревья регрессии [ править ]

Алгоритмы обучения дерева решений можно применять, чтобы научиться прогнозировать зависимую переменную на основе данных. ^[2] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды. ^[3]

См. также [ править ]

Ссылки [ править ]

^ Черкасский Владимир; Мюлиер, Филип (1994). Чизмен, П.; Олдфорд, RW (ред.). «Статистические и нейросетевые методы непараметрической регрессии» . Выбор моделей из данных . Конспект лекций по статистике. Нью-Йорк, штат Нью-Йорк: Спрингер: 383–392. дои : 10.1007/978-1-4612-2660-4_39 . ISBN 978-1-4612-2660-4 .
^ Брейман, Лео; Фридман, Дж. Х.; Ольшен, РА; Стоун, CJ (1984). Деревья классификации и регрессии . Монтерей, Калифорния: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8 .
^ Сигал, MR (1992). «Древовидные методы для продольных данных». Журнал Американской статистической ассоциации . 87 (418). Американская статистическая ассоциация, Тейлор и Фрэнсис: 407–418. дои : 10.2307/2290271 . JSTOR 2290271 .

Дальнейшее чтение [ править ]

Боуман, AW; Аззалини, А. (1997). Прикладные методы сглаживания для анализа данных . Оксфорд: Кларендон Пресс. ISBN 0-19-852396-3 .
Фан, Дж.; Гейбельс, И. (1996). Локальное полиномиальное моделирование и его приложения . Бока-Ратон: Чепмен и Холл. ISBN 0-412-98321-4 .
Хендерсон, диджей; Парметр, CF (2015). Прикладная непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-1-107-01025-3 .
Ли, К.; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика . Принстон: Издательство Принстонского университета. ISBN 978-0-691-12161-1 .
Пэган, А .; Улла, А. (1999). Непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN 0-521-35564-8 .

Внешние ссылки [ править ]

HyperNiche, программное обеспечение для непараметрической мультипликативной регрессии .
Масштабно-адаптивная непараметрическая регрессия (с программным обеспечением Matlab).

[1] Черкасский Владимир; Мюлиер, Филип (1994). Чизмен, П.; Олдфорд, RW (ред.). «Статистические и нейросетевые методы непараметрической регрессии» . Выбор моделей из данных . Конспект лекций по статистике. Нью-Йорк, штат Нью-Йорк: Спрингер: 383–392. дои : 10.1007/978-1-4612-2660-4_39 . ISBN 978-1-4612-2660-4 .

[bfos-2] Брейман, Лео; Фридман, Дж. Х.; Ольшен, РА; Стоун, CJ (1984). Деревья классификации и регрессии . Монтерей, Калифорния: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8 .

[3] Сигал, MR (1992). «Древовидные методы для продольных данных». Журнал Американской статистической ассоциации . 87 (418). Американская статистическая ассоциация, Тейлор и Фрэнсис: 407–418. дои : 10.2307/2290271 . JSTOR 2290271 .

[1]

[2]

[3]