Линейные наименьшие квадраты

Линейные наименьшие квадраты ( LLS ) - это наименее квадратные приближения линейных функций к данным. Это набор составов для решения статистических проблем, связанных с линейной регрессией , включая варианты для обычных (невзвешенных), взвешенных и обобщенных (коррелированных) остатков . Численные методы для линейных наименьших квадратов включают инвертирование матрицы нормальных уравнений и методов ортогонального разложения .

Основная формулировка

Рассмотрим линейное уравнение

$$Ax=b,$$ ( 1 )

где $A\in \mathbb {R} ^{m\times n}$ и $b\in \mathbb {R} ^{m}$ даны и $x\in \mathbb {R} ^{n}$ является переменной для вычисления. Когда $m>n,$ Как правило, так, что ( 1 ) нет решения. Например, нет значения $x$ это удовлетворяет $${\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}x={\begin{bmatrix}1\\1\\0\end{bmatrix}},$$ Потому что первые два ряда требуют, чтобы $x=(1,1),$ Но тогда третий ряд не удовлетворен. Таким образом, для $m>n,$ Цель решения ( 1 ) именно точно заменяется путем поиска значения $x$ Это минимизирует некоторую ошибку. Есть много способов определения ошибки, но одним из наиболее распространенных является определение ее как $\|Ax-b\|^{2}.$ Это создает проблему минимизации, называемую проблемой наименьших квадратов

$${\begin{aligned}{\underset {x\in \mathbb {R} ^{n}}{\operatorname {minimize} }}\quad &\|Ax-b\|^{2}.\end{aligned}}$$ ( 2 )

Решение проблемы наименьших квадратов ( 1 ) вычисляется путем решения нормального уравнения

$$A^{\top }Ax=A^{\top }b,$$ ( 3 )

где $A^{\top }$ обозначает транспонирование ​ $A$.

Продолжая пример, выше, с $$A={\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}\quad {\text{and}}\quad b={\begin{bmatrix}1\\1\\0\end{bmatrix}},$$ Мы находим $$A^{\top }A={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}={\begin{bmatrix}2&1\\1&2\end{bmatrix}}$$ и $$A^{\top }b={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1\\1\\0\end{bmatrix}}={\begin{bmatrix}1\\1\end{bmatrix}}.$$ Решение нормального уравнения дает $x=(1/3,1/3).$

Составы для линейной регрессии

Три основных линейных состава наименьших квадратов:

• Обычные наименьшие квадраты (OLS) являются наиболее распространенной оценкой. Оценки OLS обычно используются для анализа как экспериментальных , так и наблюдательных данных.
  Метод OLS минимизирует сумму квадратных остатков и приводит к выражению закрытой формы для предполагаемого значения неизвестного вектора параметров β : $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} ,$$ где $\mathbf {y}$ вектор, чей элемент - это наблюдение за зависимой переменной , и $\mathbf {X}$ это матрица, IJ , является I -й наблюдение за переменной независимой элемент . Оценка непредвзято и последовательно, если ошибки имеют конечную дисперсию и не коррелируют с регрессорами: $$\operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,$$ где $\mathbf {x} _{i}$ это транспонирование ряда матрицы $\mathbf {X} .$ Это также эффективно при предположении, что ошибки имеют конечную дисперсию и являются гомоскедастическими , что означает, что e [ ε _i ² | x _i ] не зависит от i . Условие, в котором ошибки некоррелированы с регрессорами, обычно будет удовлетворено в эксперименте, но в случае наблюдательных данных трудно исключить вероятность пропущенного ковариата Z , который связан как с наблюдаемыми ковариатами, так и с переменной ответа. Полем Существование такой ковариации, как правило, приводит к корреляции между регрессорами и переменной ответа, и, следовательно, к непоследовательной оценке β . Состояние гомоскедастичности может выйти из строя с экспериментальными или наблюдательными данными. Если целью является либо вывод, либо прогнозное моделирование, показатели OLS могут быть плохими, если мультиколлинеарность , если размер выборки не большой. присутствует
• Взвешенные наименьшие квадраты (WLS) используются, когда гетероскедастичность присутствует в условиях ошибок модели.
• Генерализованные наименьшие квадраты (GLS) - это расширение метода OLS, которое позволяет эффективно оценить β, когда либо гетероскедастичность , либо корреляции, либо оба присутствуют среди условий ошибки модели, до тех пор, пока форма гетероскедастичности и корреляции известна независимо от данных. Для обработки гетероскедастичности, когда термины ошибки не коррелированы друг с другом, GLS сводит к минимуму взвешенный аналог на сумму квадратных остатков от регрессии OLS, где вес для I ^тур Случай обратно пропорционален Var ( ε _i ). Этот особый случай GLS называется «взвешенными наименьшими квадратами». Решение GLS с проблемой оценки является $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {y} ,$$ где ω - ковариационная матрица ошибок. GLS можно рассматривать как применение линейного преобразования к данным, так что предположения OLS были выполнены для преобразованных данных. Для применения GLS ковариационная структура ошибок должна быть известна до мультипликативной постоянной.

Альтернативные составы

Другие составы включают в себя:

• Итеративно поврежденные наименьшие квадраты (IRLS) используются, когда гетероскедастичность или корреляции или оба присутствуют среди условий ошибки модели, но где мало известно о ковариационной структуре ошибок независимо от данных. В первой итерации осуществляется OLS или GLS с предварительной ковариационной структурой, а остатки получаются из FIT. Основываясь на остатках, обычно можно получить улучшенную оценку ковариационной структуры ошибок. Последующая итерация GLS затем выполняется с использованием этой оценки структуры ошибок для определения весов. Процесс может быть повторен до конвергенции, но во многих случаях только одной итерации достаточно для достижения эффективной оценки β .
• Регрессия инструментальных переменных (IV) может быть выполнена, когда регрессоры коррелируют с ошибками. В этом случае нам нужно существование некоторых вспомогательных инструментальных переменных z _i так, что e [ z _i ε _i ] = 0. Если z - матрица инструментов, то оценщик может быть дана в закрытой форме, как $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .$$ Регрессия оптимальных инструментов - это расширение классической регрессии IV на ситуацию, когда E [ ε _i | z _i ] = 0 .
• Общее наименьшее квадраты (TLS) является подходом к оценке наименьших квадратов линейной регрессионной модели, которая обрабатывает ковариаты и переменную ответа более геометрически симметричным образом, чем OL. Это один из подходов к решению проблемы «ошибки в переменных», а также иногда используется, даже если ковариаты считаются без ошибок.

• Линейный шаблон подходит (LTF) Сочетает линейную регрессию с (обобщенными) наименьшими квадратами, чтобы определить наилучшую оценку. Линейная соответствие шаблона решает частую проблему, когда остатки не могут быть выражены аналитически или слишком трудоемкие, чтобы оцениваться неоднократно, как это часто бывает в итерационных алгоритмах минимизации. В соответствии с линейным шаблоном остатки оцениваются по случайным переменным и по линейному приближению базовой истинной модели, в то время как истинная модель должна быть предоставлена, по крайней мере, для $n+1$ (были $n$ это количество оценок) различные эталонные значения β . Истинное распределение затем аппроксимируется линейной регрессией, и лучшие оценки получают в закрытой форме как $${\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {Y{\bar {m}})} ,$$ где $\mathbf {Y}$ обозначает матрицу шаблона со значениями известной или ранее определенной модели для любого из эталонных значений β , $\mathbf {y}$ являются случайными переменными (например, измерение) и матрица $\mathbf {\tilde {M}}$ и вектор $\mathbf {\tilde {m}}$ рассчитываются по значениям β . LTF также может быть выражен для распределенного распределения логарифмического распределения случайных величин. Обобщение LTF является квадратичным шаблоном, который предполагает регрессию модели второго порядка, требует прогнозов, по крайней мере, для $n^{2}+2n$ Отличительные значения β , и он находит лучшую оценку, используя метод Ньютона .

• Процент наименьших квадратов фокусируется на сокращении процентных ошибок, что полезно в области прогнозирования или анализа временных рядов. Это также полезно в ситуациях, когда зависимая переменная имеет широкий диапазон без постоянной дисперсии, так как здесь будут доминировать большие остатки в верхнем конце диапазона, если бы использовались OL. Когда процентная или относительная ошибка обычно распределяется, регрессия процента наименьших квадратов обеспечивает максимальные оценки правдоподобия. Процентная регрессия связана с мультипликативной моделью ошибок, тогда как OLS связан с моделями, содержащими аддитивную термин ошибки.

• Ограниченные наименьшие квадраты указывают на линейную проблему наименьших квадратов с дополнительными ограничениями на решении.

Объективная функция

В OLS (то есть, предполагая невзвешенные наблюдения), оптимальное значение целевой функции обнаруживается путем замены оптимального выражения на вектор коэффициента: $$S=\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} =\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} ,$$ где $\mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}$, последнее равенство, с тех пор $(\mathbf {I} -\mathbf {H} )$ симметричный и идентифицирующий. Это может быть показано из этого в соответствии с соответствующим назначением веса значение S ожидаемое что ${\textstyle m-n}$Полем Если вместо этого предполагаются веса единиц, ожидаемое S значение $(m-n)\sigma ^{2}$, где $\sigma ^{2}$ является дисперсией каждого наблюдения.

Если предполагается, что остатки принадлежат к нормальному распределению, целевая функция, являющаяся суммой взвешенных квадратных остатков, будет принадлежать хи-квадрату ( $\chi ^{2}$) Распределение с M - N Степени свободы . Некоторые иллюстративные процентильные значения $\chi ^{2}$ приведены в следующей таблице.

$m-n$	$\chi _{0.50}^{2}$	$\chi _{0.95}^{2}$	$\chi _{0.99}^{2}$
10	9.34	18.3	23.2
25	24.3	37.7	44.3
100	99.3	124	136

Эти значения могут быть использованы для статистического критерия относительно достоинства соответствия . Когда используются веса единицы, числа должны быть разделены на дисперсию наблюдения.

Для WLS приведенная выше целевая функция заменяется для среднего значения остатков.

Дискуссия

В статистике и математике в тех случаях, когда идеализированное значение , линейные наименьшие квадраты являются подходом к подгонению математической или статистической модели для данных предоставляемое моделью для любой точки данных, выражается линейно с точки зрения неизвестных параметров модели. Полученная соответствующая модель может использоваться для суммирования данных, для прогнозирования ненаблюдаемых значений из той же системы и для понимания механизмов, которые могут лежать в основе системы.

Математически линейные наименьшие квадраты являются проблемой приблизительного решения переопределенной системы линейных уравнений a x = b , где B элементом пространства столбца матрицы A. не является Приблизительное решение реализуется как точное решение для x является = b ' , где B' проекцией B на пространство A. столбца Лучшее приближение - это то, что минимизирует сумму квадратных различий между значениями данных и соответствующими моделированными значениями. Подход называется линейными наименьшими квадратами, поскольку предполагаемая функция является линейной в оценке параметров. Линейные проблемы с наименьшими квадратами являются выпуклыми и имеют уникальное решение с закрытой формой , при условии, что количество точек данных, используемых для подгонки, равно или превышает количество неизвестных параметров, за исключением специальных дегенеративных ситуаций. Напротив, нелинейные проблемы с наименьшими квадратами обычно должны решать итеративной процедурой , а проблемы могут быть невыпультыми с множественными оптимами для целевой функции. Если предварительные распределения доступны, тогда даже недоопределенная система может быть решена с помощью Байесовская оценка MMSE .

В статистике линейные проблемы с наименьшими квадратами соответствуют особенно важному типу статистической модели, называемой линейной регрессией , которая возникает как конкретная форма регрессионного анализа . Одна основная форма такой модели - обычная модель наименьших квадратов . Настоящая статья концентрируется на математических аспектах линейных задач наименьших квадратов, с обсуждением формулировки и интерпретации моделей статистической регрессии и статистических выводов, связанных с тем, что они рассматриваются в только что упомянутых статьях. Посмотрите на очередь регрессионного анализа для очертания темы.

Характеристики

См. Также: Обычные наименьшие квадраты § Свойства

Если экспериментальные ошибки, $\varepsilon$, некоррелированы, имеют среднее значение нуля и постоянную дисперсию, $\sigma$, теорема Гаусс-Маркова заявляет, что оценка наименьших квадратов, ${\hat {\boldsymbol {\beta }}}$, имеет минимальную дисперсию всех оценок, которые являются линейными комбинациями наблюдений. В этом смысле это лучшая или оптимальная оценка параметров. Обратите внимание, что это свойство не зависит от статистической функции распределения ошибок. Другими словами, функция распределения ошибок не должна быть нормальным распределением . Однако для некоторых вероятностей распределения нет никакой гарантии, что решение о наименьших квадратах даже возможно, учитывая наблюдения; Тем не менее, в таких случаях это лучшая оценка, которая является линейной и беспристрастной.

Например, легко показать, что среднее арифметическое среднее значение набора измерений величины является наименее квадратной оценкой значения этой величины. Если применяются условия теоремы Гаусс -Маркова, среднее арифметику является оптимальным, какое бы ни было распределение ошибок измерений.

Однако в том случае, если экспериментальные ошибки принадлежат к нормальному распределению, оценка наименьших квадратов также является оценкой максимального правдоподобия .

Эти свойства лежат в основе использования метода наименьших квадратов для всех типов подгонки данных, даже если предположения не являются строго достоверными.

Ограничения

Предположение, лежащее в основе приведенного выше лечения, заключается в том, что независимая переменная, x , свободна от ошибки. На практике ошибки при измерениях независимой переменной обычно намного меньше, чем ошибки на зависимой переменной, и поэтому могут быть проигнорированы. Если это не так, общие наименьшие квадраты или в более общем смысле модели ошибок или тщательные наименьшие квадраты следует использовать . Это может быть сделано путем настройки схемы взвешивания, чтобы учитывать ошибки как на зависимых, так и независимых переменных, а затем следования стандартной процедуре.

В некоторых случаях (взвешенная) матрица нормальных уравнений x ^Т X плохо подготовлен . При подгонке полиномов матрица нормальных уравнений представляет собой матрицу Vandermonde . Матрицы Vandermonde становятся все более плохими, поскольку порядок матрицы увеличивается. В этих случаях наименьшие квадраты, по оценкам, усиливают шум измерения и могут быть чрезвычайно неточными. В таких случаях могут применяться различные методы регуляризации , наиболее распространенные из которых называются регрессией хребта . Если известна дополнительная информация о параметрах, например, диапазон возможных значений $\mathbf {\hat {\boldsymbol {\beta }}}$, тогда различные методы могут использоваться для повышения стабильности решения. Например, см. Ограниченные наименьшие квадраты .

Другим недостатком оценки наименьших квадратов является тот факт, что норма остатков, $\|\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|$ сведен к минимуму, тогда как в некоторых случаях человек действительно заинтересован в получении небольшой ошибки в параметре $\mathbf {\hat {\boldsymbol {\beta }}}$, например, небольшая ценность $\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|$. Однако, поскольку истинный параметр ${\boldsymbol {\beta }}$ обязательно неизвестно, эта величина не может быть сведена к минимуму. Если предварительная вероятность на ${\hat {\boldsymbol {\beta }}}$ известно, тогда оценщик Байеса может использоваться для минимизации средней квадратной ошибки , $E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}$Полем Метод наименьших квадратов часто применяется, когда ранее не известно. Когда оцениваются несколько параметров совместно, могут быть построены лучшие оценки, эффект, известный как феномен Штейна . Например, если ошибка измерения является гауссовой , известно несколько оценок, которые доминируют или превосходят метод наименьших квадратов; Наиболее известным из них является оценка Джеймса -Шейна . Это пример более общих оценок усадки , которые были применены к проблемам регрессии.

Приложения

Наименьшее квадратное приближение с линейными, квадратичными и кубическими полиномами.

См. Также: Линейная регрессия § Приложения

• Полиномиальная подгонка : модели являются полиномами в независимой переменной, x :
  • Прямая линия: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x$.
  • Квадратичный: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}$.
  • Кубические, квартильные и более высокие полиномы. Для регрессии с полиномами высокого порядка использование ортогональных полиномов . рекомендуется
• Численное сглаживание и дифференциация - это применение полиномиальной подгонки.
• Multinomials в более чем одной независимой переменной, включая поверхностную установку
• Кривая подгонка с B-сплостями
• Хемометрика , калибровочная кривая , стандартное добавление , график , анализ смесей

Используется в подгонке данных

Основное применение линейных наименьших квадратов находится в подгонке данных . Учитывая набор данных точек $y_{1},y_{2},\dots ,y_{m},$ состоящие из экспериментально измеренных значений, взятых при М. значениях $x_{1},x_{2},\dots ,x_{m}$ независимой переменной ( $x_{i}$ Может быть скалярные или векторные величины) и предоставлять модель функцию $y=f(x,{\boldsymbol {\beta }}),$ с ${\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),$ желательно найти параметры $\beta _{j}$ Такова, что функция модели «лучше всего» соответствует данным. В линейных наименьших квадратах линейность предназначена для параметров $\beta _{j},$ так $$f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).$$

Здесь функции $\varphi _{j}$ может быть нелинейным по отношению к переменной x .

В идеале, функция модели точно соответствует данным, поэтому $$y_{i}=f(x_{i},{\boldsymbol {\beta }})$$ для всех $i=1,2,\dots ,m.$ Обычно это невозможно на практике, так как существует больше точек данных, чем определение параметров. Выбранный тогда подход состоит в том, чтобы найти минимальное возможное значение суммы квадратов остатков $$r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)$$ Итак, чтобы минимизировать функцию $$S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).$$

После замены $r_{i}$ а затем для $f$, эта проблема минимизации становится проблемой квадратичной минимизации выше с $$X_{ij}=\varphi _{j}(x_{i}),$$ И наилучшим образом можно найти путем решения нормальных уравнений.

Пример

График точек данных (красным), наименее квадратная линия наилучшей подгонки (синим цветом) и остатков (по зеленым)

Гипотетический исследователь проводит эксперимент и получает четыре $(x,y)$ Точки данных: $(1,6),$ $(2,5),$ $(3,7),$ и $(4,10)$ (показано красным на диаграмме справа). Из -за исследовательского анализа данных или предварительного знания предмета исследователь подозревает, что $y$-отровки зависят от $x$-Коля систематически. А $x$-кали считаются точными, но $y$-кали содержат некоторую неопределенность или «шум», из -за изучения явления, недостатков в измерениях и т. Д.

Установка линии

См. Также: Пример простой линейной регрессии §

Одно из самых простых отношений между $x$ и $y$ это линия $y=\beta _{1}+\beta _{2}x$Полем Перехват $\beta _{1}$ и склон $\beta _{2}$ изначально неизвестны. Исследователь хотел бы найти ценности $\beta _{1}$ и $\beta _{2}$ Это заставляет линию пройти через четыре точки данных. Другими словами, исследователь хотел бы решить систему линейных уравнений $${\begin{alignedat}{3}\beta _{1}+1\beta _{2}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}&&\;=\;&&10.&\\\end{alignedat}}$$ С четырьмя уравнениями в двух неизвестных, эта система переопределена. Там нет точного решения. Чтобы рассмотреть приблизительные решения, вводит остатки $r_{1}$, $r_{2}$, $r_{3}$, $r_{4}$ в уравнениях: $${\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10.&\\\end{alignedat}}$$ А $i$Th Lotinal $r_{i}$ это несоответствие между $i$TH наблюдение $y_{i}$ и $i$TH предсказание $\beta _{1}+\beta _{2}x_{i}$: $${\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2}),&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2}),&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2}),&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2}).&\\\end{alignedat}}$$ Среди всех приблизительных решений исследователь хотел бы найти тот, который в некотором смысле является «лучшим».

В наименьших квадратах кто -то фокусируется на сумме $S$ из квадратных остатков: $${\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}$$ Лучшее решение определено как то, что минимизирует $S$ Что касается $\beta _{1}$ и $\beta _{2}$Полем Минимум можно рассчитать путем установки частичных производных $S$ К нулю: $$0={\frac {\partial S}{\partial \beta _{1}}}=8\beta _{1}+20\beta _{2}-56,$$ $$0={\frac {\partial S}{\partial \beta _{2}}}=20\beta _{1}+60\beta _{2}-154.$$ Эти нормальные уравнения представляют собой систему из двух линейных уравнений в двух неизвестных. Решение есть $\beta _{1}=3.5$ и $\beta _{2}=1.4$и лучшая линия, следовательно, $y=3.5+1.4x$Полем Остатки есть $1.1,$ $-1.3,$ $-0.7,$ и $0.9$ (См. Схему справа). Минимальное значение суммы квадратных остатков составляет $$S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.$$

Этот расчет может быть выражен в матричной нотации следующим образом. Первоначальная система уравнений $\mathbf {y} =\mathbf {X} \mathbf {\beta }$, где $$\mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].$$ Интуитивно, $$\mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].$$ Более строго, если $\mathbf {X} ^{\top }\mathbf {X}$ инвертируем, затем матрица $\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }$ представляет ортогональную проекцию на пространстве колонны $\mathbf {X}$Полем Следовательно, среди всех векторов формы $\mathbf {X} \mathbf {\beta }$, один ближе к $\mathbf {y}$ является $\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y}$Полем Параметр $$\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} \mathbf {\beta } ,$$ очевидно, что $\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y}$ это решение.

Установка параболы

Дополнительная информация: полиномиальная регрессия

Результат подгонки квадратичной функции $y=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}\,$ (в синем) через набор точек данных $(x_{i},y_{i})$ (в красном). В линейных наименьших квадратах функция не должна быть линейной в аргументе $x,$ но только в параметрах $\beta _{j}$ которые полны решимости дать наилучшее соответствие.

Предположим, что гипотетический исследователь хочет соответствовать параболе формы $y=\beta _{1}x^{2}$Полем Важно отметить, что эта модель все еще линейна в неизвестных параметрах (теперь просто $\beta _{1}$), поэтому линейные наименьшие квадраты все еще применяются. Система уравнений, включающих остатки $${\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}$$

Сумма квадратных остатков $$S(\beta _{1})=(6-\beta _{1})^{2}+(5-4\beta _{1})^{2}+(7-9\beta _{1})^{2}+(10-16\beta _{1})^{2}.$$ Есть только одна частичная производная, чтобы установить на 0: $$0={\frac {\partial S}{\partial \beta _{1}}}=708\beta _{1}-498.$$ Решение есть $\beta _{1}=0.703$и модель подгонки $y=0.703x^{2}$.

При нотации матрицы уравнения без остатков снова $\mathbf {y} =\mathbf {X} \mathbf {\beta }$, где сейчас $$\mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].$$ По той же логике, что и выше, решение $$\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].$$

На рисунке показано расширение для установки трех параболы параметров с использованием проектной матрицы $\mathbf {X}$ с тремя столбцами (один для $x^{0}$, $x^{1}$, и $x^{2}$) и одна строка для каждой из точек красных данных.

Установка других кривых и поверхностей

См. Также: Пример обычных наименьших квадратов § Пример

В целом, можно было иметь $n$ регрессоры $x_{j}$и линейная модель $$y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.$$

Смотрите также

• Пересечение линии
• Линейная подгонка
• Нелинейные наименьшие квадраты
• Зарегистрировано наименьшие квадраты
• Простая линейная регрессия
• Частичная регрессия наименьших квадратов
• Линейная функция

Дальнейшее чтение

• Бевингтон, Филипп Р.; Робинсон, Кит Д. (2003). Сокращение данных и анализ ошибок для физических наук . МакГроу-Хилл. ISBN  978-0-07-247227-1 .

Внешние ссылки

• Наименьшие квадраты - от MathWorld
• Наименьшие квадраты, фитинга-полиномиальные-из MathWorld