Сглаживающий сплайн

Для более широкого освещения этой темы см. Сплайн (математика) .

Сглаживающие сплайны представляют собой оценки функций, ${\hat {f}}(x)$, полученное из набора зашумленных наблюдений $y_{i}$ цели $f(x_{i})$, чтобы сбалансировать согласия меру ${\hat {f}}(x_{i})$ к $y_{i}$ с производной мерой гладкости ${\hat {f}}(x)$. Они обеспечивают средство для сглаживания шумов. $x_{i},y_{i}$ данные. Самый знакомый пример — кубический сглаживающий сплайн, но существует множество других возможностей, в том числе и для случая, когда $x$ является векторной величиной.

Определение кубического сплайна

Позволять $\{x_{i},Y_{i}:i=1,\dots ,n\}$ быть набором наблюдений, моделируемых соотношением $Y_{i}=f(x_{i})+\epsilon _{i}$ где $\epsilon _{i}$ являются независимыми случайными величинами с нулевым средним значением. Оценка кубического сглаживающего сплайна ${\hat {f}}$ функции $f$ определяется как единственный минимизатор в пространстве Соболева $W_{2}^{2}$ на компактном интервале

$\sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}^{\prime \prime }(x)^{2}\,dx.$

Примечания:

• $\lambda \geq 0$ — параметр сглаживания, контролирующий компромисс между точностью данных и грубостью оценки функции. Это часто оценивается с помощью обобщенной перекрестной проверки, или по ограниченной предельной вероятности (REML) который использует связь между сплайновым сглаживанием и байесовской оценкой (штраф за сглаживание можно рассматривать как вызванный априорным значением $f$).
• Интеграл часто вычисляется по всей действительной линии, хотя также возможно ограничить диапазон до диапазона $x_{i}$.
• Как $\lambda \to 0$ (без сглаживания) сглаживающий сплайн сходится к интерполяционному сплайну .
• Как $\lambda \to \infty$ (бесконечное сглаживание), штраф за шероховатость становится первостепенным, и оценка сходится к линейной оценке методом наименьших квадратов .
• Штраф за шероховатость, основанный на второй производной, является наиболее распространенным в современной статистической литературе, хотя этот метод можно легко адаптировать к штрафам, основанным на других производных.
• В ранней литературе с равноотстоящими друг от друга упорядоченными $x_{i}$, в качестве штрафа использовались разности второго или третьего порядка, а не производные.
• Цель сглаживания штрафной суммы квадратов можно заменить штрафной целью правдоподобия , в которой сумма квадратов заменяется другой мерой точности данных, основанной на логарифмическом правдоподобии. Член суммы квадратов соответствует штрафному правдоподобию с гауссовским предположением о $\epsilon _{i}$.

Вывод кубического сглаживающего сплайна

Полезно подумать о настройке сглаживающего сплайна в два этапа:

1. Сначала выведите значения ${\hat {f}}(x_{i});i=1,\ldots ,n$.
2. Из этих значений выведите ${\hat {f}}(x)$ для всех х .

Теперь сначала обработайте второй шаг.

Учитывая вектор ${\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}$ из подогнанных значений часть суммы квадратов сплайнового критерия фиксируется. Остаётся только минимизировать $\int {\hat {f}}''(x)^{2}\,dx$, а минимайзер представляет собой натуральный кубический сплайн , интерполирующий точки $(x_{i},{\hat {f}}(x_{i}))$. Этот интерполирующий сплайн является линейным оператором и может быть записан в виде

${\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)$

где $f_{i}(x)$ представляют собой набор сплайновых базисных функций. В результате штраф за шероховатость имеет вид

$\int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.$

элементы A где $\int f_{i}''(x)f_{j}''(x)dx$. Базисные функции и, следовательно, матрица A зависят от конфигурации переменных-предикторов. $x_{i}$, но не по ответам $Y_{i}$ или ${\hat {m}}$.

A — матрица размера n × n , заданная формулой $A=\Delta ^{T}W^{-1}\Delta$.

Δ — это (n-2) × n матрица вторых разностей с элементами:

$\Delta _{ii}=1/h_{i}$, $\Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}$, $\Delta _{i,i+2}=1/h_{i+1}$

W представляет собой (n-2) × (n-2) симметричную трехдиагональную матрицу с элементами:

$W_{i-1,i}=W_{i,i-1}=h_{i}/6$, $W_{ii}=(h_{i}+h_{i+1})/3$ и $h_{i}=\xi _{i+1}-\xi _{i}$, расстояния между последовательными узлами (или значения x).

Теперь вернемся к первому шагу. Штрафную сумму квадратов можно записать как

$\{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},$

где $Y=(Y_{1},\ldots ,Y_{n})^{T}$.

Минимизация более ${\hat {m}}$ путем дифференцирования против ${\hat {m}}$. Это приводит к: $-2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0$ и ${\hat {m}}=(I+\lambda A)^{-1}Y.$

Подход Де Бура

Подход Де Бура использует ту же идею: найти баланс между гладкой кривой и близостью к заданным данным.

$p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx$

где $p$ представляет собой параметр, называемый гладким фактором и принадлежащий интервалу $[0,1]$, и $\delta _{i};i=1,\dots ,n$ – величины, контролирующие степень сглаживания (они представляют собой вес $\delta _{i}^{-2}$ каждой точки $Y_{i}$). На практике, поскольку кубические сплайны , чаще всего используются $m$ обычно $2$. Решение для $m=2$ был предложен Кристианом Рейншем в 1967 году. Для $m=2$, когда $p$ подходы $1$, ${\hat {f}}$ сходится к «естественному» сплайн-интерполянту к заданным данным. Как $p$ подходы $0$, ${\hat {f}}$ сходится к прямой (самая гладкая кривая). Поскольку найдено подходящее значение $p$ это задача проб и ошибок, избыточная константа $S$ введено для удобства. $S$ используется для численного определения значения $p$ так что функция ${\hat {f}}$ соответствует следующему условию:

$\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S$

Алгоритм, описанный де Буром, начинается с $p=0$ и увеличивает $p$ пока условие не будет выполнено. Если $\delta _{i}$ представляет собой оценку стандартного отклонения для $Y_{i}$, константа $S$ рекомендуется выбирать в интервале $\left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]$. Имея $S=0$ означает, что решением является «естественный» сплайн-интерполянт. Увеличение $S$ означает, что мы получим более гладкую кривую, отойдя дальше от заданных данных.

Многомерные сплайны

Существует два основных класса методов обобщения сглаживания по скаляру. $x$ к сглаживанию по вектору $x$. Первый подход просто обобщает штраф за сглаживание сплайнов на многомерные условия. Например, если попытаться оценить $f(x,z)$ мы могли бы использовать штраф за сплайн тонкой пластины и найти ${\hat {f}}(x,z)$ минимизация

$\sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.$

Подход с использованием тонких пластинчатых сплайнов можно обобщить для сглаживания по отношению к более чем двум измерениям и другим порядкам дифференцирования штрафа. По мере увеличения размерности возникают некоторые ограничения на дифференциал наименьшего порядка, который можно использовать: но на самом деле это оригинальная статья Дюшона, дает немного более сложные штрафы, позволяющие обойти это ограничение.

Сплайны тонких пластин изотропны, а это означает, что если мы повернём $x,z$ системе координат оценка не изменится, но мы также предполагаем, что один и тот же уровень сглаживания подходит во всех направлениях. Это часто считается разумным при сглаживании относительно пространственного положения, но во многих других случаях изотропия не является подходящим предположением и может привести к чувствительности к явно произвольному выбору единиц измерения. Например, при сглаживании по расстоянию и времени изотропный сглаживатель даст разные результаты, если расстояние измеряется в метрах, а время в секундах, и то, что произойдет, если мы изменим единицы измерения на сантиметры и часы.

Второй класс обобщений многомерного сглаживания имеет дело непосредственно с проблемой масштабной инвариантности, используя конструкции сплайнов тензорного произведения. Такие сплайны имеют штрафы за сглаживание при наличии нескольких параметров сглаживания, и это цена, которую приходится платить, не предполагая, что одинаковая степень сглаживания подходит во всех направлениях.

Связанные методы

См. также: Подгонка кривой

Сглаживающие сплайны связаны, но отличаются от:

• Регрессионные сплайны . В этом методе данные аппроксимируются набором базисных функций сплайна с уменьшенным набором узлов, обычно по методу наименьших квадратов. Штраф за шероховатость не используется. (См. также сплайны многомерной адаптивной регрессии .)
• Штрафные сплайны . Это сочетает в себе уменьшенное количество узлов регрессионных сплайнов со штрафом за шероховатость за счет сглаживания сплайнов.
• Тонкие пластинчатые сплайны и метод эластичных карт для обучения многообразиям . Этот метод сочетает в себе штраф по методу наименьших квадратов за ошибку аппроксимации со штрафом за изгиб и растяжение аппроксимирующего многообразия и использует грубую дискретизацию задачи оптимизации.

Исходный код

Исходный код сглаживания сплайнов можно найти в примерах из Карла де Бура книги «Практическое руководство по сплайнам» . Примеры приведены на Фортран языке программирования . Обновленные источники доступны также на официальном сайте Карла де Бура [1] .

Дальнейшее чтение

• Вахба, Г. (1990). Сплайновые модели для данных наблюдений . СИАМ, Филадельфия.
• Грин П.Дж. и Сильверман Б.В. (1994). Непараметрическая регрессия и обобщенные линейные модели . ЦРК Пресс.
• Де Бур, К. (2001). Практическое руководство по сплайнам (пересмотренное издание) . Спрингер.