Линейный метод наименьших квадратов

Линейный метод наименьших квадратов ( LLS ) — это методом наименьших квадратов аппроксимация линейных функций к данным .Это набор формулировок для решения статистических задач, связанных с линейной регрессией , включая варианты для обычных (невзвешенных), взвешенных и обобщенных (коррелированных) остатков . Численные методы линейного метода наименьших квадратов включают обращение матрицы нормальных уравнений и методы ортогонального разложения .

Базовая формулировка

Рассмотрим линейное уравнение

Ax=b,

( 1 )

где $A\in \mathbb {R} ^{m\times n}$ и $b\in \mathbb {R} ^{m}$ даны и $x\in \mathbb {R} ^{n}$ является переменной, которую необходимо вычислить. Когда $m>n,$ в общем случае ( 1 ) не имеет решения. Например, нет значения $x$ это удовлетворяет ${\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}x={\begin{bmatrix}1\\1\\0\end{bmatrix}},$ потому что первые две строки требуют этого $x=(1,1),$ но тогда третий ряд не устраивает.Таким образом, для $m>n,$ цель точного решения ( 1 ) обычно заменяется нахождением значения $x$ это минимизирует некоторую ошибку. Существует много способов определения ошибки, но один из наиболее распространенных — определить ее как $\|Ax-b\|^{2}.$ Это порождает проблему минимизации, называемую проблемой наименьших квадратов.

{\begin{aligned}{\underset {x\in \mathbb {R} ^{n}}{\operatorname {minimize} }}\quad &\|Ax-b\|^{2}.\end{aligned}}

( 2 )

Решение задачи наименьших квадратов ( 1 ) вычисляется путем решения нормального уравнения ^[1]

A^{\top }Ax=A^{\top }b,

( 3 )

где $A^{\top }$ обозначает транспонирование $A$ .

Продолжая приведенный выше пример с $A={\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}\quad {\text{and}}\quad b={\begin{bmatrix}1\\1\\0\end{bmatrix}},$ мы находим $A^{\top }A={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}={\begin{bmatrix}2&1\\1&2\end{bmatrix}}$ и $A^{\top }b={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1\\1\\0\end{bmatrix}}={\begin{bmatrix}1\\1\end{bmatrix}}.$ Решение нормального уравнения дает $x=(1/3,1/3).$

Формулировки линейной регрессии

Три основные формулировки линейного метода наименьших квадратов:

Обыкновенный метод наименьших квадратов (OLS) является наиболее распространенным методом оценки. Оценки МНК обычно используются для анализа как экспериментальных , так и наблюдательных данных.
Метод МНК минимизирует сумму квадратов остатков и приводит к выражению в замкнутой форме для оценочного значения вектора неизвестных параметров β : ${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} ,$ где $\mathbf {y}$ — вектор, i -й элемент которого является i- м наблюдением зависимой переменной , и $\mathbf {X}$ — матрица, элемент ij которой является i- м наблюдением j -й независимой переменной . Оценка является несмещенной и согласованной , если ошибки имеют конечную дисперсию и не коррелируют с регрессорами: ^[2] $\operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,$ где $\mathbf {x} _{i}$ является транспонированием строки i матрицы $\mathbf {X} .$ Он также эффективен в предположении, что ошибки имеют конечную дисперсию и гомоскедастичны , что означает, что E[ ε _i²| x _i ] не зависит от i . Условие некоррелированности ошибок с регрессорами обычно будет выполняться в эксперименте, но в случае данных наблюдений трудно исключить возможность опущенной ковариаты z , которая связана как с наблюдаемыми ковариатами, так и с переменной отклика. . Существование такой ковариаты обычно приводит к корреляции между регрессорами и переменной отклика и, следовательно, к противоречивой оценке β . Условие гомоскедастичности может не соответствовать как экспериментальным, так и наблюдательным данным. Если целью является либо умозаключение, либо прогнозное моделирование, эффективность оценок МНК может быть низкой при мультиколлинеарности , если только размер выборки не велик. наличии
Взвешенный метод наименьших квадратов (WLS) используется, когда гетероскедастичность присутствует в терминах ошибок модели.
Обобщенные наименьшие квадраты (GLS) - это расширение метода OLS, которое позволяет эффективно оценивать β , когда либо гетероскедастичность среди ошибок модели присутствуют , либо корреляции, либо и то, и другое, при условии, что известны форма гетероскедастичности и корреляции. независимо от данных. Чтобы справиться с гетероскедастичностью, когда члены ошибок не коррелируют друг с другом, GLS минимизирует взвешенный аналог суммы квадратов остатков от регрессии OLS, где вес для i ^й случае обратно пропорциональна var( ε _i ). Этот особый случай GLS называется «взвешенным методом наименьших квадратов». GLS-решение проблемы оценки: ${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {y} ,$ где Ω — ковариационная матрица ошибок. GLS можно рассматривать как применение линейного преобразования к данным, чтобы для преобразованных данных выполнялись предположения OLS. Для применения GLS ковариационная структура ошибок должна быть известна с точностью до мультипликативной константы.

Альтернативные составы

Другие составы включают:

Итеративно перевзвешенный метод наименьших квадратов (IRLS) используется, когда гетероскедастичность или корреляции, или и то, и другое, но когда мало что известно о ковариационной структуре ошибок независимо от данных. среди ошибок модели присутствуют ^[3] На первой итерации выполняется OLS или GLS с предварительной ковариационной структурой, и в результате аппроксимации получаются остатки. На основе остатков обычно можно получить улучшенную оценку ковариационной структуры ошибок. Затем выполняется последующая итерация GLS с использованием этой оценки структуры ошибок для определения весов. Процесс можно повторять до сходимости, но во многих случаях для достижения эффективной оценки β достаточно только одной итерации . ^[4]^[5]
Регрессия инструментальных переменных (IV) может быть выполнена, когда регрессоры коррелируют с ошибками. В этом случае нам необходимо существование некоторых вспомогательных инструментальных переменных z _i таких, что E[ z _i ε _i ] = 0. Если Z — матрица инструментов, то оценку можно задать в замкнутой форме как ${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .$ Регрессия оптимальных инструментов — это расширение классической IV-регрессии на ситуацию, когда $E[ε i | z я] знак равно 0$ .
Всего наименьших квадратов (TLS) ^[6] это подход к оценке методом наименьших квадратов модели линейной регрессии, который рассматривает ковариаты и переменную отклика более геометрически симметрично, чем OLS. Это один из подходов к решению проблемы «ошибок в переменных», который также иногда используется, даже если предполагается, что ковариаты не содержат ошибок.

Линейная подгонка шаблона (LTF) ^[7] сочетает линейную регрессию с (обобщенным) методом наименьших квадратов для определения наилучшей оценки. Линейная подгонка шаблона решает частую проблему, когда остатки не могут быть выражены аналитически или требуют слишком много времени для повторной оценки, как это часто бывает в итеративных алгоритмах минимизации. При линейной подгонке по шаблону остатки оцениваются на основе случайных величин и линейной аппроксимации базовой истинной модели, при этом истинная модель должна быть предоставлена как минимум для $n+1$ (были $n$ — количество оценщиков) различных эталонных значений β . Затем истинное распределение аппроксимируется линейной регрессией, и лучшие оценки получаются в закрытой форме как ${\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {Y{\bar {m}})} ,$ где $\mathbf {Y}$ обозначает шаблонную матрицу со значениями известной или ранее определенной модели для любого из опорных значений β , $\mathbf {y}$ являются случайными величинами (например, измерением) и матрицей $\mathbf {\tilde {M}}$ и вектор $\mathbf {\tilde {m}}$ рассчитываются по значениям β . LTF также может быть выражен для случайных величин с логнормальным распределением . Обобщением LTF является квадратичная аппроксимация шаблона, которая предполагает регрессию модели второго порядка и требует прогнозирования как минимум $n^{2}+2n$ различные значения β , и он находит лучшую оценку, используя метод Ньютона .

Метод наименьших квадратов в процентах направлен на уменьшение процентных ошибок, что полезно в области прогнозирования или анализа временных рядов. Это также полезно в ситуациях, когда зависимая переменная имеет широкий диапазон без постоянной дисперсии, поскольку в этом случае при использовании МНК будут доминировать более крупные остатки в верхней части диапазона. Когда процентная или относительная ошибка имеет нормальное распределение, процентная регрессия по методу наименьших квадратов дает оценки максимального правдоподобия. Процентная регрессия связана с моделью мультипликативной ошибки, тогда как МНК связана с моделями, содержащими аддитивную ошибку. ^[8]

Ограниченный метод наименьших квадратов указывает на линейную задачу наименьших квадратов с дополнительными ограничениями на решение.

Целевая функция

В МНК (т. е. при условии невзвешенных наблюдений) оптимальное значение целевой функции находится путем замены оптимального выражения на вектор коэффициентов: $S=\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} =\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} ,$ где $\mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}$ , последнее равенство имеет место, поскольку $(\mathbf {I} -\mathbf {H} )$ симметричен и идемпотентен. Из этого можно показать ^[9] что при соответствующем назначении весов значение S равно ожидаемое ${\textstyle m-n}$ . Если вместо этого предполагаются единичные веса, ожидаемое значение S равно $(m-n)\sigma ^{2}$ , где $\sigma ^{2}$ — это дисперсия каждого наблюдения.

Если предположить, что остатки принадлежат нормальному распределению, то целевая функция, представляющая собой сумму взвешенных квадратов остатков, будет принадлежать хи-квадрат ( $\chi ^{2}$ ) распределение с m − n степенями свободы . Некоторые иллюстративные значения процентилей $\chi ^{2}$ приведены в следующей таблице. ^[10]

$m-n$	$\chi _{0.50}^{2}$	$\chi _{0.95}^{2}$	$\chi _{0.99}^{2}$
10	9.34	18.3	23.2
25	24.3	37.7	44.3
100	99.3	124	136

Эти значения можно использовать в качестве статистического критерия степени соответствия . При использовании единичных весов числа следует разделить на дисперсию наблюдения.

Для WLS обычная целевая функция, указанная выше, заменяется средневзвешенным значением остатков.

Обсуждение

В статистике и математике в случаях, когда идеализированное значение , линейный метод наименьших квадратов — это подход к подгонке математической или статистической модели к данным предоставляемое моделью для любой точки данных, выражается линейно через неизвестные параметры модели. Полученную в результате подобранную модель можно использовать для обобщения данных, для прогнозирования ненаблюдаемых значений той же системы и для понимания механизмов, которые могут лежать в основе системы.

наименьших квадратов — это задача приближенного решения переопределенной системы линейных уравнений A x = b , где b не является элементом пространства столбцов матрицы A. Математически линейный метод Приближенное решение реализуется как точное решение A x = b' , где b' — проекция b пространство столбцов A. на Наилучшим приближением является то, которое минимизирует сумму квадратов разностей между значениями данных и соответствующими им смоделированными значениями. Этот подход называется линейным методом наименьших квадратов, поскольку предполагаемая функция линейна по оцениваемым параметрам. Линейные задачи наименьших квадратов являются выпуклыми и имеют единственное решение в замкнутой форме при условии, что количество точек данных, используемых для подгонки, равно или превышает количество неизвестных параметров, за исключением особых вырожденных ситуаций. Напротив, нелинейные задачи наименьших квадратов обычно должны решаться с помощью итерационной процедуры , и проблемы могут быть невыпуклыми с несколькими оптимумами для целевой функции. Если доступны предыдущие распределения, то даже недоопределенную систему можно решить с помощью Байесовский оценщик MMSE .

В статистике линейные задачи наименьших квадратов соответствуют особенно важному типу статистической модели, называемой линейной регрессией , которая возникает как особая форма регрессионного анализа . Одной из основных форм такой модели является обычная модель наименьших квадратов . Настоящая статья концентрируется на математических аспектах линейных задач наименьших квадратов с обсуждением формулировки и интерпретации моделей статистической регрессии и связанных с ними статистических выводов , которые рассматриваются в только что упомянутых статьях. См. схему регрессионного анализа для ознакомления с темой.

Характеристики

Если экспериментальные ошибки, $\varepsilon$ , некоррелированы, имеют нулевое среднее значение и постоянную дисперсию, $\sigma$ , теорема Гаусса–Маркова утверждает, что оценка методом наименьших квадратов, ${\hat {\boldsymbol {\beta }}}$ , имеет минимальную дисперсию всех оценок, которые являются линейными комбинациями наблюдений. В этом смысле это лучшая или оптимальная оценка параметров. Особо отметим, что это свойство не зависит от статистической функции распределения ошибок. Другими словами, функция распределения ошибок не обязательно должна быть нормальным распределением . Однако для некоторых распределений вероятностей нет никакой гарантии, что решение методом наименьших квадратов вообще возможно с учетом наблюдений; тем не менее, в таких случаях это лучшая оценка, которая является одновременно линейной и несмещенной.

Например, легко показать, что среднее арифметическое набора измерений величины является оценкой значения этой величины методом наименьших квадратов. Если применимы условия теоремы Гаусса–Маркова, среднее арифметическое является оптимальным, каким бы ни было распределение ошибок измерений.

Однако в случае, когда экспериментальные ошибки действительно принадлежат нормальному распределению, метод наименьших квадратов также является оценщиком максимального правдоподобия . ^[11]

Эти свойства лежат в основе использования метода наименьших квадратов для всех типов подбора данных, даже когда предположения не являются строго верными.

Ограничения

Предположение, лежащее в основе приведенной выше обработки, заключается в том, что независимая переменная x не содержит ошибок. На практике ошибки измерения независимой переменной обычно намного меньше ошибок измерения зависимой переменной, и поэтому их можно игнорировать. Если это не так, следует использовать метод общих наименьших квадратов или, в более общем плане, модели ошибок в переменных или строгие методы наименьших квадратов . Это можно сделать, скорректировав схему взвешивания для учета ошибок как по зависимым, так и по независимым переменным, а затем следуя стандартной процедуре. ^[12]^[13]

В некоторых случаях матрица (взвешенных) нормальных уравнений X ^ТX обусловлен плохо . При аппроксимации полиномами матрица нормальных уравнений представляет собой матрицу Вандермонда . Матрицы Вандермонда становятся все более плохо обусловленными по мере увеличения порядка матрицы. ^{[ нужна ссылка ]} В этих случаях оценка методом наименьших квадратов усиливает шум измерения и может быть крайне неточной. ^{[ нужна ссылка ]} В таких случаях могут применяться различные методы регуляризации , наиболее распространенный из которых называется гребневой регрессией . Если известна дополнительная информация о параметрах, например диапазон возможных значений $\mathbf {\hat {\boldsymbol {\beta }}}$ , то можно использовать различные методы для повышения устойчивости решения. Например, см. Ограниченный метод наименьших квадратов .

Еще одним недостатком метода наименьших квадратов является тот факт, что норма остатков $\|\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|$ минимизируется, тогда как в ряде случаев действительно интересно получить малую погрешность параметра $\mathbf {\hat {\boldsymbol {\beta }}}$ , например, небольшое значение $\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|$ . ^{[ нужна ссылка ]} Однако поскольку истинный параметр ${\boldsymbol {\beta }}$ обязательно неизвестна, эта величина не может быть непосредственно минимизирована. Если вероятность априорная ${\hat {\boldsymbol {\beta }}}$ известно, то оценку Байеса можно использовать для минимизации среднеквадратической ошибки , $E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}$ . Метод наименьших квадратов часто применяется, когда априорное значение неизвестно. Когда несколько параметров оцениваются совместно, можно построить более точные оценки — эффект, известный как феномен Штейна . Например, если ошибка измерения гауссова , известно несколько методов оценки, которые доминируют или превосходят метод наименьших квадратов; наиболее известным из них является оценщик Джеймса – Стейна . Это пример более общих оценок усадки , которые применялись к задачам регрессии.

Приложения

Полиномиальная аппроксимация : модели представляют собой полиномы от независимой переменной x :
- Прямая линия: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x$ . ^[14]
- Квадратичный: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}$ .
- Кубические, четвертые и высшие полиномы. Для регрессии с полиномами высокого порядка использовать ортогональные полиномы . рекомендуется ^[15]
Численное сглаживание и дифференцирование — это применение полиномиальной аппроксимации.
Полиномы от более чем одной независимой переменной, включая аппроксимацию поверхности
Подгонка кривой с помощью B-сплайнов ^[12]
Хемометрика , Калибровочная кривая , Стандартная добавка , Гран-график , Анализ смесей

Использование при подборе данных

Основное применение линейного метода наименьших квадратов – аппроксимация данных . Учитывая набор из m точек данных $y_{1},y_{2},\dots ,y_{m},$ состоящий из экспериментально измеренных значений, взятых при m значениях $x_{1},x_{2},\dots ,x_{m}$ независимой переменной ( $x_{i}$ могут быть скалярными или векторными величинами) и с учетом модельной функции $y=f(x,{\boldsymbol {\beta }}),$ с ${\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),$ желательно найти параметры $\beta _{j}$ так, что модельная функция «наилучшим образом» соответствует данным. В линейном методе наименьших квадратов линейность подразумевается по отношению к параметрам $\beta _{j},$ так $f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).$

Здесь функции $\varphi _{j}$ может быть нелинейным по отношению к переменной x .

В идеале функция модели точно соответствует данным, поэтому $y_{i}=f(x_{i},{\boldsymbol {\beta }})$ для всех $i=1,2,\dots ,m.$ На практике это обычно невозможно, поскольку точек данных больше, чем параметров, которые необходимо определить. Тогда выбранный подход заключается в нахождении минимально возможного значения суммы квадратов остатков $r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)$ поэтому минимизируем функцию $S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).$

После замены на $r_{i}$ а затем для $f$ , эта проблема минимизации становится приведенной выше задачей квадратичной минимизации с $X_{ij}=\varphi _{j}(x_{i}),$ и наилучшее соответствие можно найти, решив нормальные уравнения.

Пример

Гипотетический исследователь проводит эксперимент и получает четыре $(x,y)$ точки данных: $(1,6),$ $(2,5),$ $(3,7),$ и $(4,10)$ (показано красным на схеме справа). Из-за предварительного анализа данных или предварительного знания предмета исследователь подозревает, что $y$ -значения зависят от $x$ -ценности систематические. $x$ -значения предполагаются точными, но $y$ -значения содержат некоторую неопределенность или «шум» из-за изучаемого явления, несовершенства измерений и т. д.

Установка линии

Одно из простейших возможных отношений между $x$ и $y$ это линия $y=\beta _{1}+\beta _{2}x$ . Перехват $\beta _{1}$ и склон $\beta _{2}$ изначально неизвестны. Исследователь хочет найти значения $\beta _{1}$ и $\beta _{2}$ это приводит к тому, что линия проходит через четыре точки данных. Другими словами, исследователь хотел бы решить систему линейных уравнений ${\begin{alignedat}{3}\beta _{1}+1\beta _{2}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}&&\;=\;&&10.&\\\end{alignedat}}$ С четырьмя уравнениями с двумя неизвестными эта система является переопределенной. Точного решения не существует. Для рассмотрения приближенных решений вводятся невязки $r_{1}$ , $r_{2}$ , $r_{3}$ , $r_{4}$ в уравнения: ${\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10.&\\\end{alignedat}}$ $i$ й остаток $r_{i}$ это несоответствие между $i$ это наблюдение $y_{i}$ и $i$ предсказание $\beta _{1}+\beta _{2}x_{i}$ : ${\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2}),&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2}),&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2}),&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2}).&\\\end{alignedat}}$ Среди всех приближенных решений исследователь хотел бы найти то, которое в каком-то смысле является «лучшим».

В методе наименьших квадратов основное внимание уделяется сумме $S$ квадратов остатков: ${\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}$ Лучшим решением считается то, которое минимизирует $S$ относительно $\beta _{1}$ и $\beta _{2}$ . Минимум можно вычислить, установив частные производные $S$ до нуля: $0={\frac {\partial S}{\partial \beta _{1}}}=8\beta _{1}+20\beta _{2}-56,$ $0={\frac {\partial S}{\partial \beta _{2}}}=20\beta _{1}+60\beta _{2}-154.$ Эти нормальные уравнения представляют собой систему двух линейных уравнений с двумя неизвестными. Решение $\beta _{1}=3.5$ и $\beta _{2}=1.4$ , и, следовательно, наилучшая линия $y=3.5+1.4x$ .Остатки $1.1,$ $-1.3,$ $-0.7,$ и $0.9$ (см. схему справа). Минимальное значение суммы квадратов остатков равно $S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.$

Этот расчет можно выразить в матричной записи следующим образом. Исходная система уравнений имеет вид $\mathbf {y} =\mathbf {X} \mathbf {\beta }$ , где $\mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].$ Интуитивно, $\mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].$ Более строго, если $\mathbf {X} ^{\top }\mathbf {X}$ обратима, то матрица $\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }$ представляет собой ортогональную проекцию на пространство столбцов $\mathbf {X}$ . Следовательно, среди всех векторов вида $\mathbf {X} \mathbf {\beta }$ , тот, кто ближе всего $\mathbf {y}$ является $\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y}$ . Параметр $\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} \mathbf {\beta } ,$ очевидно, что $\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y}$ это решение.

Установка параболы

Предположим, что гипотетический исследователь желает подобрать параболу вида $y=\beta _{1}x^{2}$ . Важно отметить, что эта модель по-прежнему линейна по неизвестным параметрам (сейчас только $\beta _{1}$ ), поэтому линейный метод наименьших квадратов по-прежнему применяется. Система уравнений с невязками имеет вид ${\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}$

Сумма квадратов остатков равна $S(\beta _{1})=(6-\beta _{1})^{2}+(5-4\beta _{1})^{2}+(7-9\beta _{1})^{2}+(10-16\beta _{1})^{2}.$ Есть только одна частная производная, которую можно установить в 0: $0={\frac {\partial S}{\partial \beta _{1}}}=708\beta _{1}-498.$ Решение $\beta _{1}=0.703$ и подходящая модель $y=0.703x^{2}$ .

В матричной записи уравнения без остатков снова имеют вид $\mathbf {y} =\mathbf {X} \mathbf {\beta }$ , где сейчас $\mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].$ По той же логике, что и выше, решение: $\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].$

На рисунке показано расширение для подбора параболы с тремя параметрами с использованием матрицы расчета. $\mathbf {X}$ с тремя колонками (одна для $x^{0}$ , $x^{1}$ , и $x^{2}$ ) и по одной строке для каждой красной точки данных.

Подгонка других кривых и поверхностей

В более общем смысле можно иметь $n$ регрессоры $x_{j}$ и линейная модель $y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.$

См. также

Ссылки

^ Вайсштейн, Эрик В. «Нормальное уравнение» . Математический мир . Вольфрам . Проверено 18 декабря 2023 г.
^ Лай, TL; Роббинс, Х.; Вэй, Чехия (1978). «Сильная согласованность оценок методом наименьших квадратов в множественной регрессии» . ПНАС . 75 (7): 3034–3036. Бибкод : 1978PNAS...75.3034L . дои : 10.1073/pnas.75.7.3034 . JSTOR 68164 . ПМЦ 392707 . ПМИД 16592540 .
^ дель Пино, Гвидо (1989). «Объединяющая роль итерационного обобщенного метода наименьших квадратов в статистических алгоритмах» . Статистическая наука . 4 (4): 394–403. дои : 10.1214/ss/1177012408 . JSTOR 2245853 .
^ Кэрролл, Рэймонд Дж. (1982). «Адаптация к гетероскедастичности в линейных моделях» . Анналы статистики . 10 (4): 1224–1233. дои : 10.1214/aos/1176345987 . JSTOR 2240725 .
^ Коэн, Майкл; Далал, Сиддхартха Р.; Тьюки, Джон В. (1993). «Надежная, плавно-гетерогенная дисперсионная регрессия». Журнал Королевского статистического общества, серия C. 42 (2): 339–353. JSTOR 2986237 .
^ Нивергельт, Ив (1994). «Всего методом наименьших квадратов: современная регрессия в численном анализе». Обзор СИАМ . 36 (2): 258–264. дои : 10.1137/1036055 . JSTOR 2132463 .
^ Бритцгер, Дэниел (2022). «Подгонка линейного шаблона». Евро. Физ. Джей Си . 82 (8): 731. arXiv : 2112.01548 . Бибкод : 2022EPJC...82..731B . doi : 10.1140/epjc/s10052-022-10581-w . S2CID 244896511 .
^ Тофаллис, К. (2009). «Процентная регрессия по методу наименьших квадратов» . Журнал современных прикладных статистических методов . 7 : 526–534. дои : 10.2139/ssrn.1406472 . hdl : 2299/965 . ССНР 1406472 .
^ Гамильтон, WC (1964). Статистика в физических науках . Нью-Йорк: Рональд Пресс.
^ Шпигель, Мюррей Р. (1975). Очерк теории и проблем вероятности и статистики Шаума . Нью-Йорк: МакГроу-Хилл. ISBN 978-0-585-26739-5 .
^ Маргенау, Генри; Мерфи, Джордж Мозли (1956). Математика физики и химии . Принстон: Ван Ностранд.
^ Jump up to: ^а ^б Ганс, Питер (1992). Подгонка данных в химических науках . Нью-Йорк: Уайли. ISBN 978-0-471-93412-7 .
^ Деминг, МЫ (1943). Статистическая корректировка данных . Нью-Йорк: Уайли.
^ Актон, Ф.С. (1959). Анализ прямолинейных данных . Нью-Йорк: Уайли.
^ Гость, ПГ (1961). Численные методы аппроксимации кривой . Кембридж: Издательство Кембриджского университета. ^{[ нужна страница ]}

Дальнейшее чтение

Бевингтон, Филип Р.; Робинсон, Кейт Д. (2003). Сокращение данных и анализ ошибок для физических наук . МакГроу-Хилл. ISBN 978-0-07-247227-1 .

Внешние ссылки

[mathworld_normal_equation-1] Вайсштейн, Эрик В. «Нормальное уравнение» . Математический мир . Вольфрам . Проверено 18 декабря 2023 г.

[2] Лай, TL; Роббинс, Х.; Вэй, Чехия (1978). «Сильная согласованность оценок методом наименьших квадратов в множественной регрессии» . ПНАС . 75 (7): 3034–3036. Бибкод : 1978PNAS...75.3034L . дои : 10.1073/pnas.75.7.3034 . JSTOR 68164 . ПМЦ 392707 . ПМИД 16592540 .

[3] дель Пино, Гвидо (1989). «Объединяющая роль итерационного обобщенного метода наименьших квадратов в статистических алгоритмах» . Статистическая наука . 4 (4): 394–403. дои : 10.1214/ss/1177012408 . JSTOR 2245853 .

[4] Кэрролл, Рэймонд Дж. (1982). «Адаптация к гетероскедастичности в линейных моделях» . Анналы статистики . 10 (4): 1224–1233. дои : 10.1214/aos/1176345987 . JSTOR 2240725 .

[5] Коэн, Майкл; Далал, Сиддхартха Р.; Тьюки, Джон В. (1993). «Надежная, плавно-гетерогенная дисперсионная регрессия». Журнал Королевского статистического общества, серия C. 42 (2): 339–353. JSTOR 2986237 .

[6] Нивергельт, Ив (1994). «Всего методом наименьших квадратов: современная регрессия в численном анализе». Обзор СИАМ . 36 (2): 258–264. дои : 10.1137/1036055 . JSTOR 2132463 .

[7] Бритцгер, Дэниел (2022). «Подгонка линейного шаблона». Евро. Физ. Джей Си . 82 (8): 731. arXiv : 2112.01548 . Бибкод : 2022EPJC...82..731B . doi : 10.1140/epjc/s10052-022-10581-w . S2CID 244896511 .

[8] Тофаллис, К. (2009). «Процентная регрессия по методу наименьших квадратов» . Журнал современных прикладных статистических методов . 7 : 526–534. дои : 10.2139/ssrn.1406472 . hdl : 2299/965 . ССНР 1406472 .

[9] Гамильтон, WC (1964). Статистика в физических науках . Нью-Йорк: Рональд Пресс.

[10] Шпигель, Мюррей Р. (1975). Очерк теории и проблем вероятности и статистики Шаума . Нью-Йорк: МакГроу-Хилл. ISBN 978-0-585-26739-5 .

[11] Маргенау, Генри; Мерфи, Джордж Мозли (1956). Математика физики и химии . Принстон: Ван Ностранд.

[pg-12] Jump up to: ^а ^б Ганс, Питер (1992). Подгонка данных в химических науках . Нью-Йорк: Уайли. ISBN 978-0-471-93412-7 .

[13] Деминг, МЫ (1943). Статистическая корректировка данных . Нью-Йорк: Уайли.

[14] Актон, Ф.С. (1959). Анализ прямолинейных данных . Нью-Йорк: Уайли.

[15] Гость, ПГ (1961). Численные методы аппроксимации кривой . Кембридж: Издательство Кембриджского университета. ^{[ нужна страница ]}

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]