Всего наименьших квадратов

Двумерный случай (регрессия Деминга) общего числа наименьших квадратов. Красные линии показывают ошибку как в x, так и в y . Это отличается от традиционного метода наименьших квадратов, который измеряет ошибку параллельно Y. оси Показанный случай, когда отклонения измеряются перпендикулярно, возникает, когда ошибки x и y имеют равные дисперсии.

В прикладной статистике общий метод наименьших квадратов — это тип регрессии ошибок в переменных , метод моделирования данных методом наименьших квадратов , в котором учитываются ошибки наблюдения как по зависимым, так и по независимым переменным. Это обобщение регрессии Деминга , а также ортогональной регрессии , и его можно применять как к линейным, так и к нелинейным моделям.

Полная аппроксимация данных методом наименьших квадратов в общем эквивалентна лучшему, по норме Фробениуса , низкоранговому приближению матрицы данных.

Линейная модель

Фон

В методе наименьших квадратов моделирования данных целевая функция , S ,

$S=\mathbf {r^{T}Wr} ,$

минимизируется, где r — вектор остатков , а W — весовая матрица. В линейном методе наименьших квадратов модель содержит уравнения, линейные по параметрам, входящим в вектор параметров. ${\boldsymbol {\beta }}$, поэтому остатки определяются выражением

$\mathbf {r=y-X{\boldsymbol {\beta }}} .$

Имеется m наблюдений по параметрам y и n в β с m > n . X — матрица размера m × n , элементы которой являются либо константами, либо функциями независимых переменных x . Матрица весов W в идеале является обратной матрицей дисперсии-ковариации $\mathbf {M} _{y}$ наблюдений y . Предполагается, что независимые переменные не содержат ошибок. Оценки параметров находятся путем установки уравнений градиента в ноль, что приводит к нормальным уравнениям

$\mathbf {X^{T}WX{\boldsymbol {\beta }}=X^{T}Wy} .$

Допуск ошибок наблюдения во всех переменных

Теперь предположим, что и x, и y наблюдаются с ошибками, с дисперсионно-ковариационными матрицами $\mathbf {M} _{x}$ и $\mathbf {M} _{y}$ соответственно. В этом случае целевую функцию можно записать в виде

$S=\mathbf {r_{x}^{T}M_{x}^{-1}r_{x}+r_{y}^{T}M_{y}^{-1}r_{y}} ,$

где $\mathbf {r} _{x}$ и $\mathbf {r} _{y}$ являются остатками по x и y соответственно. Четко эти остатки не могут быть независимыми друг от друга, но они должны быть связаны какими-то отношениями. Записав модельную функцию как $\mathbf {f(r_{x},r_{y},{\boldsymbol {\beta }})}$, ограничения выражаются m уравнениями условий.

$\mathbf {F=\Delta y-{\frac {\partial f}{\partial r_{x}}}r_{x}-{\frac {\partial f}{\partial r_{y}}}r_{y}-X\Delta {\boldsymbol {\beta }}=0} .$

Таким образом, задача состоит в том, чтобы минимизировать целевую функцию с учетом m ограничений. Она решается применением множителей Лагранжа . После некоторых алгебраических манипуляций результат получен.

$\mathbf {X^{T}M^{-1}X\Delta {\boldsymbol {\beta }}=X^{T}M^{-1}\Delta y} ,$

или альтернативно $\mathbf {X^{T}M^{-1}X{\boldsymbol {\beta }}=X^{T}M^{-1}y} ,$ где M — матрица дисперсии-ковариации относительно независимых и зависимых переменных.

$\mathbf {M=K_{x}M_{x}K_{x}^{T}+K_{y}M_{y}K_{y}^{T};\ K_{x}=-{\frac {\partial f}{\partial r_{x}}},\ K_{y}=-{\frac {\partial f}{\partial r_{y}}}} .$

Пример

Когда ошибки данных некоррелированы, все матрицы M и W диагональны. Затем возьмем пример прямой подгонки.

$f(x_{i},\beta )=\alpha +\beta x_{i}$

в этом случае

$M_{ii}=\sigma _{y,i}^{2}+\beta ^{2}\sigma _{x,i}^{2}$

показывая, как дисперсия в i- й точке определяется дисперсиями как независимых, так и зависимых переменных, а также моделью, используемой для подбора данных. Выражение можно обобщить, заметив, что параметр $\beta$ это наклон линии.

$M_{ii}=\sigma _{y,i}^{2}+\left({\frac {dy}{dx}}\right)_{i}^{2}\sigma _{x,i}^{2}$

Выражение этого типа используется при аппроксимации данных титрования pH , где небольшая ошибка по x приводит к большой ошибке по y, когда наклон велик.

Алгебраическая точка зрения

Как показали в 1980 году Голуб и Ван Лоан, проблема TLS вообще не имеет решения. Ниже рассматривается простой случай, когда существует единственное решение, без каких-либо конкретных предположений.

Вычисление TLS с использованием разложения по сингулярным значениям (SVD) описано в стандартных текстах. Мы можем решить уравнение

$XB\approx Y$

для B , где X — это m -by- n , а Y — это m -by -k .

То есть мы стремимся найти B , который минимизирует матрицы ошибок E и F для X и Y соответственно. То есть,

$\mathrm {argmin} _{B,E,F}\|[E\;F]\|_{F},\qquad (X+E)B=Y+F$

где $[E\;F]$ представляет собой расширенную матрицу, в которой E и F расположены рядом, а $\|\cdot \|_{F}$ — это норма Фробениуса , квадратный корень из суммы квадратов всех элементов матрицы и, что эквивалентно, квадратный корень из суммы квадратов длин строк или столбцов матрицы.

Это можно переписать как

$[(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0.$

где $I_{k}$ это $k\times k$ идентификационная матрица. Тогда цель состоит в том, чтобы найти $[E\;F]$ что снижает ранг $[X\;Y]$ по к . Определять $[U][\Sigma ][V]^{*}$ быть разложением по сингулярным значениям расширенной матрицы $[X\;Y]$.

$[X\;Y]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}^{*}&V_{YX}^{*}\\V_{XY}^{*}&V_{YY}^{*}\end{bmatrix}}$

где V соответствующие форме X и Y. разбит на блоки ,

Используя теорему Эккарта – Янга , приближение, минимизирующее норму ошибки, таково, что матрицы $U$ и $V$ не изменяются, а наименьшие $k$ сингулярные значения заменяются нулями. То есть мы хотим

$[(X+E)\;(Y+F)]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&0_{k\times k}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}$

поэтому по линейности,

$[E\;F]=-[U_{X}\;U_{Y}]{\begin{bmatrix}0_{n\times n}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}.$

Затем мы можем удалить блоки из матриц U и Σ, упрощая до

$[E\;F]=-U_{Y}\Sigma _{Y}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}=-[X\;Y]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}.$

Это обеспечивает E и F, так что

$[(X+E)\;(Y+F)]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}=0.$

Теперь, если $V_{YY}$ несингулярен, что не всегда так (обратите внимание, что поведение TLS при $V_{YY}$ сингулярность еще не совсем понятна), тогда мы можем умножить обе части справа на $-V_{YY}^{-1}$ привести нижний блок правой матрицы к отрицательной единице, дав

$[(X+E)\;(Y+F)]{\begin{bmatrix}-V_{XY}V_{YY}^{-1}\\-V_{YY}V_{YY}^{-1}\end{bmatrix}}=[(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0,$

и так

$B=-V_{XY}V_{YY}^{-1}.$

Наивная GNU Octave реализация :

function B = tls(X, Y)

[m n]   = size(X);             % n is the width of X (X is m by n)
Z       = [X Y];               % Z is X augmented with Y.
[U S V] = svd(Z, 0);           % find the SVD of Z.
VXY     = V(1:n, 1+n:end);     % Take the block of V consisting of the first n rows and the n+1 to last column
VYY     = V(1+n:end, 1+n:end); % Take the bottom-right block of V.
B       = -VXY / VYY;

end

Описанный выше способ решения задачи требует, чтобы матрица $V_{YY}$ несингулярен, может быть немного расширен с помощью так называемого классического алгоритма TLS .

Вычисление

Стандартная реализация классического алгоритма TLS доступна через Netlib , см. также. Все современные реализации, основанные, например, на решении последовательности обычных задач наименьших квадратов, аппроксимируют матрицу $B$ (обозначается $X$ в литературе), как это представили Ван Хаффель и Вандевалле. Стоит отметить, что это $B$ однако это не решение TLS . во многих случаях

Нелинейная модель

Для нелинейных систем аналогичные рассуждения показывают, что нормальные уравнения итерационного цикла можно записать в виде

$\mathbf {J^{T}M^{-1}J\Delta {\boldsymbol {\beta }}=J^{T}M^{-1}\Delta y} ,$

где $\mathbf {J}$ – матрица Якобиана .

Геометрическая интерпретация

Основная статья: Подбор кривой § Алгебраическая подгонка и геометрическая подгонка кривых

Дополнительная информация: Ортогональная регрессия.

Когда независимая переменная не содержит ошибок, остаток представляет собой «вертикальное» расстояние между наблюдаемой точкой данных и подобранной кривой (или поверхностью). В общем методе наименьших квадратов остаток представляет собой расстояние между точкой данных и подобранной кривой, измеренное в некотором направлении. Фактически, если обе переменные измеряются в одних и тех же единицах измерения и ошибки по обеим переменным одинаковы, то остаток представляет собой кратчайшее расстояние между точкой данных и подобранной кривой , то есть вектор невязки перпендикулярен касательной кривая. По этой причине этот тип регрессии иногда называют двумерной евклидовой регрессией (Stein, 1983). или ортогональная регрессия .

Масштабно-инвариантные методы

Серьезная трудность возникает, если переменные не измеряются в одних и тех же единицах. Сначала рассмотрим измерение расстояния между точкой данных и линией: в каких единицах измерения измеряется это расстояние? Если мы рассмотрим измерение расстояния на основе теоремы Пифагора, то ясно, что мы будем складывать величины, измеряемые в разных единицах, что бессмысленно. Во-вторых, если мы изменим масштаб одной из переменных, например, будем измерять в граммах, а не в килограммах, то мы получим другие результаты (другую линию). Чтобы избежать этих проблем, иногда предлагается перейти к безразмерным переменным — это можно назвать нормализацией или стандартизацией. Однако существуют различные способы сделать это, и они приводят к созданию подогнанных моделей, которые не эквивалентны друг другу. Один из подходов заключается в нормализации по известной (или расчетной) точности измерения, тем самым минимизируя расстояние Махаланобиса от точек до линии, обеспечивая решение с максимальным правдоподобием ; неизвестная точность может быть найдена посредством дисперсионного анализа .

Короче говоря, общий метод наименьших квадратов не обладает свойством инвариантности единиц, то есть он не масштабно-инвариантен . Для значимой модели мы требуем, чтобы это свойство выполнялось. Путь вперед — осознать, что остатки (расстояния), измеренные в разных единицах, можно комбинировать, если вместо сложения использовать умножение. Рассмотрите возможность подгонки линии: для каждой точки данных произведение вертикальных и горизонтальных остатков равно двойной площади треугольника, образованного линиями остатков и подогнанной линией. Мы выбираем линию, которая минимизирует сумму этих площадей. Нобелевский лауреат Пол Самуэльсон доказал в 1942 году, что в двух измерениях это единственная линия, выражаемая исключительно через отношения стандартных отклонений и коэффициента корреляции, которая (1) соответствует правильному уравнению, когда наблюдения лежат на прямой линии ( 2) демонстрирует масштабную инвариантность и (3) демонстрирует инвариантность при перестановке переменных. Это решение было заново открыто в различных дисциплинах и известно как стандартизированная главная ось (Ricker 1975, Warton et al., 2006). уменьшенная главная ось , среднегеометрическая функциональная зависимость (Draper and Smith, 1998), регрессия наименьших продуктов , диагональная регрессия , линия органической корреляции и линия наименьших площадей (Tofallis, 2002).

Тофалис (2015, 2023) расширил этот подход для работы с несколькими переменными. Расчеты проще, чем для расчета суммы наименьших квадратов, поскольку они требуют только знания ковариаций и могут быть рассчитаны с использованием стандартных функций электронных таблиц.

См. также

• Разбавление регрессии
• Регрессия Деминга , частный случай с двумя предикторами и независимыми ошибками.
• Модель ошибок в переменных
• Модель Гаусса-Гельмерта
• Линейная регрессия
• Наименьшие квадраты
• Анализ главных компонентов
• Регрессия главных компонентов

Ссылки

Другие

• И. Гнетынкова, М. Плешингер, Д. М. Сима, З. Стракош и С. Ван Хаффель , Полная задача наименьших квадратов в AX ≈ B. Новая классификация по отношению к классическим работам. СИМАКС об. 32, выпуск 3 (2011), стр. 748–770. Доступен в виде препринта .
• М. Плешингер, Общая задача наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий технический университет и Институт компьютерных наук, AS CR Прага, 2008. Кандидат философии. Диссертация
• К.С. Пейдж, З. Стракош, Основные проблемы в линейных алгебраических системах. СИАМ Дж. Матричный анал. Прил. 27, 2006, стр. 861–875. дои : 10.1137/040616991
• С. Ван Хаффель и П. Леммерлинг, Моделирование по методу наименьших квадратов и ошибкам в переменных: анализ, алгоритмы и приложения . Дордрехт, Нидерланды: Kluwer Academic Publishers, 2002.
• С. Джо и С.В. Ким. Последовательная нормализованная фильтрация по методу наименьших квадратов с зашумленной матрицей данных. IEEE Транс. Сигнальный процесс., вып. 53, нет. 6, стр. 2112–2123, июнь 2005 г.
• Р.Д. ДеГроат и Э.М. Даулинг, Задача наименьших квадратов данных и выравнивание каналов. IEEE Транс. Сигнальный процесс., вып. 41, нет. 1, стр. 407–411, январь 1993 г.
• С. Ван Хаффель и Дж. Вандевалле, «Задачи полных наименьших квадратов: вычислительные аспекты и анализ». Публикации SIAM, Филадельфия, Пенсильвания, 1991. дои : 10.1137/1.9781611971002
• Т. Абацоглу и Дж. Мендель, Ограниченный общий метод наименьших квадратов , в Proc. IEEE Международный. Конф. Акуст., Речь, Сигнальный Процесс. (ICASSP'87), апрель 1987 г., вып. 12, стр. 1485–1488.
• П. де Гроен. Введение в метод наименьших квадратов , в журнале Nieuw Archief voor Mathematics, четвертая серия, часть 14, 1996, стр. 237–253 archive.org .
• GH Голуб и CF Ван Лоан, анализ общей проблемы наименьших квадратов. СИАМ Дж. на цифре. Анал., 17, 1980, стр. 883–893. дои : 10.1137/0717073
• Перпендикулярная регрессия линии на MathPages
• А. Р. Амири-Симкуи и С. Джазаери Взвешенный общий метод наименьших квадратов, сформулированный на основе стандартной теории наименьших квадратов , в Journal of Geodetic Science, 2 (2): 113–124, 2012 [1] .