Приближение функции наименьших квадратов

В математике применяет аппроксимация функции наименьших квадратов принцип наименьших квадратов к аппроксимации функции посредством взвешенной суммы других функций. Наилучшее приближение можно определить как то, которое минимизирует разницу между исходной функцией и приближением; для метода наименьших квадратов качество аппроксимации измеряется квадратами разностей между ними.

Функциональный анализ

См. Также: ряд Фурье и обобщенный ряд Фурье.

Обобщением аппроксимации набора данных является аппроксимация функции суммой других функций, обычно ортогонального набора :

$f(x)\approx f_{n}(x)=a_{1}\phi _{1}(x)+a_{2}\phi _{2}(x)+\cdots +a_{n}\phi _{n}(x),\$

с набором функций { $\ \phi _{j}(x)$} ортонормированный набор на интересующем интервале, скажем, [a, b] : см. также теорему Фейера . Коэффициенты { $\ a_{j}$} выбраны так, чтобы определить величину разницы || ж - ж _п || ² как можно меньше. Например, величина или норма функции g ( x ) на интервале [a, b] может быть определена следующим образом:

$\|g\|=\left(\int _{a}^{b}g^{*}(x)g(x)\,dx\right)^{1/2}$

где '*' обозначает комплексно-сопряженную функцию в случае комплексных функций. Расширение теоремы Пифагора таким образом приводит к функциональным пространствам и понятию меры Лебега , идее «пространства», более общей, чем первоначальная основа евклидовой геометрии. { ​ $\phi _{j}(x)\$ } удовлетворяют отношениям ортонормированности :

$\int _{a}^{b}\phi _{i}^{*}(x)\phi _{j}(x)\,dx=\delta _{ij},$

где δij _{Кронекера} — дельта . Подстановка функции f _n в эти уравнения приводит тогда к теорема n -мерная Пифагора :

$\|f_{n}\|^{2}=|a_{1}|^{2}+|a_{2}|^{2}+\cdots +|a_{n}|^{2}.\,$

Коэффициенты { a _j }, составляющие || ж - ж _п || ² как можно меньшими оказываются:

$a_{j}=\int _{a}^{b}\phi _{j}^{*}(x)f(x)\,dx.$

Обобщение n -мерной теоремы Пифагора на бесконечномерные действительные пространства со скалярными произведениями известно как тождество Парсеваля или уравнение Парсеваля. Частными примерами такого представления функции являются ряд Фурье и обобщенный ряд Фурье .

Дальнейшее обсуждение

Использование линейной алгебры

Отсюда следует, что можно найти «лучшее» приближение другой функции, минимизируя площадь между двумя функциями, непрерывную функцию $f$ на $[a,b]$ и функция $g\in W$ где $W$ является подпространством $C[a,b]$:

${\text{Area}}=\int _{a}^{b}\left\vert f(x)-g(x)\right\vert \,dx,$

все в подпространстве $W$. Из-за частых трудностей при вычислении подынтегральных выражений, включающих абсолютное значение, вместо этого можно определить

$\int _{a}^{b}[f(x)-g(x)]^{2}\,dx$

В качестве адекватного критерия получения приближения методом наименьших квадратов функция $g$, из $f$ относительно внутреннего пространства продукта $W$.

Как таковой, $\lVert f-g\rVert ^{2}$ или, что то же самое, $\lVert f-g\rVert$, можно, таким образом, записать в векторной форме:

$\int _{a}^{b}[f(x)-g(x)]^{2}\,dx=\left\langle f-g,f-g\right\rangle =\lVert f-g\rVert ^{2}.$

Другими словами, аппроксимация методом наименьших квадратов $f$ это функция $g\in {\text{ subspace }}W$ ближайший к $f$ с точки зрения внутреннего продукта $\left\langle f,g\right\rangle$. Кроме того, это можно применить с помощью теоремы:

Позволять $f$ быть непрерывным $[a,b]$, и пусть $W$ — конечномерное подпространство $C[a,b]$. Аппроксимирующая функция наименьших квадратов $f$ относительно $W$ дается

$g=\left\langle f,{\vec {w}}_{1}\right\rangle {\vec {w}}_{1}+\left\langle f,{\vec {w}}_{2}\right\rangle {\vec {w}}_{2}+\cdots +\left\langle f,{\vec {w}}_{n}\right\rangle {\vec {w}}_{n},$

где $B=\{{\vec {w}}_{1},{\vec {w}}_{2},\dots ,{\vec {w}}_{n}\}$ является ортонормированным базисом для $W$.