Рекурсивный фильтр наименьших квадратов

Рекурсивный метод наименьших квадратов ( RLS ) — это алгоритм адаптивного фильтра , который рекурсивно находит коэффициенты, которые минимизируют наименьших квадратов, взвешенную линейную функцию стоимости относящуюся к входным сигналам. Этот подход отличается от других алгоритмов, таких как алгоритм наименьших средних квадратов (LMS), целью которых является уменьшение среднеквадратической ошибки . При выводе RLS входные сигналы считаются детерминированными , тогда как для LMS и подобных алгоритмов они считаются стохастическими . По сравнению с большинством своих конкурентов, RLS демонстрирует чрезвычайно быструю сходимость. Однако это преимущество достигается за счет высокой вычислительной сложности.

Мотивация

RLS был открыт Гауссом, но оставался неиспользованным или игнорировался до 1950 года, когда Плакетт заново открыл оригинальную работу Гаусса 1821 года. В общем, RLS можно использовать для решения любой проблемы, которую можно решить с помощью адаптивных фильтров . Например, предположим, что сигнал $d(n)$ передается по эхо- шумному каналу , из-за чего он принимается как

$x(n)=\sum _{k=0}^{q}b_{n}(k)d(n-k)+v(n)$

где $v(n)$ представляет собой аддитивный шум . Целью фильтра RLS является восстановление полезного сигнала. $d(n)$ с помощью $p+1$-нажмите ДЛЯ фильтра, $\mathbf {w}$:

$d(n)\approx \sum _{k=0}^{p}w(k)x(n-k)=\mathbf {w} ^{\mathit {T}}\mathbf {x} _{n}$

где $\mathbf {x} _{n}=[x(n)\quad x(n-1)\quad \ldots \quad x(n-p)]^{T}$ вектор -столбец, содержащий $p+1$ самые последние образцы $x(n)$. Оценка восстановленного полезного сигнала равна

${\hat {d}}(n)=\sum _{k=0}^{p}w_{n}(k)x(n-k)=\mathbf {w} _{n}^{\mathit {T}}\mathbf {x} _{n}$

Цель – оценить параметры фильтра. $\mathbf {w}$, и в каждый момент времени $n$ мы называем текущую оценку как $\mathbf {w} _{n}$ и адаптированная оценка методом наименьших квадратов $\mathbf {w} _{n+1}$. $\mathbf {w} _{n}$ также является вектор-столбцом, как показано ниже, и транспонирование , $\mathbf {w} _{n}^{\mathit {T}}$, является вектором-строкой . Матричный продукт $\mathbf {w} _{n}^{\mathit {T}}\mathbf {x} _{n}$ (который является произведением скалярным $\mathbf {w} _{n}$ и $\mathbf {x} _{n}$) является ${\hat {d}}(n)$, скаляр. Оценка «хорошая», если ${\hat {d}}(n)-d(n)$ мала по величине в некотором смысле наименьших квадратов .

С течением времени желательно избегать полного повторения алгоритма наименьших квадратов для нахождения новой оценки для $\mathbf {w} _{n+1}$, с точки зрения $\mathbf {w} _{n}$.

Преимущество алгоритма RLS заключается в том, что нет необходимости инвертировать матрицы, что позволяет сэкономить вычислительные затраты. Еще одним преимуществом является то, что он обеспечивает интуитивное понимание таких результатов, как фильтр Калмана .

Обсуждение

Идея фильтров RLS заключается в минимизации функции стоимости. $C$ путем соответствующего выбора коэффициентов фильтра $\mathbf {w} _{n}$, обновляя фильтр по мере поступления новых данных. Сигнал ошибки $e(n)$ и желаемый сигнал $d(n)$ определены на диаграмме отрицательной обратной связи ниже:

Ошибка неявно зависит от коэффициентов фильтра через оценку ${\hat {d}}(n)$:

$e(n)=d(n)-{\hat {d}}(n)$

Взвешенная функция ошибок по методу наименьших квадратов $C$— функция затрат, которую мы хотим минимизировать, — являющаяся функцией $e(n)$ поэтому также зависит от коэффициентов фильтра:

$C(\mathbf {w} _{n})=\sum _{i=0}^{n}\lambda ^{n-i}e^{2}(i)$

где $0<\lambda \leq 1$ это «фактор забывания», который придает экспоненциально меньший вес более старым выборкам ошибок.

Функция стоимости минимизируется путем принятия частных производных для всех записей. $k$ вектора коэффициентов $\mathbf {w} _{n}$ и обнуляем результаты

${\frac {\partial C(\mathbf {w} _{n})}{\partial w_{n}(k)}}=\sum _{i=0}^{n}2\lambda ^{n-i}e(i)\cdot {\frac {\partial e(i)}{\partial w_{n}(k)}}=-\sum _{i=0}^{n}2\lambda ^{n-i}e(i)\,x(i-k)=0\qquad k=0,1,\ldots ,p$

Далее замените $e(n)$ с определением сигнала ошибки

$\sum _{i=0}^{n}\lambda ^{n-i}\left[d(i)-\sum _{\ell =0}^{p}w_{n}(\ell )x(i-\ell )\right]x(i-k)=0\qquad k=0,1,\ldots ,p$

Перестановка уравнения дает

$\sum _{\ell =0}^{p}w_{n}(\ell )\left[\sum _{i=0}^{n}\lambda ^{n-i}\,x(i-\ell )x(i-k)\right]=\sum _{i=0}^{n}\lambda ^{n-i}d(i)x(i-k)\qquad k=0,1,\ldots ,p$

Эту форму можно выразить через матрицы

$\mathbf {R} _{x}(n)\,\mathbf {w} _{n}=\mathbf {r} _{dx}(n)$

где $\mathbf {R} _{x}(n)$ — взвешенная выборочная ковариационная матрица для $x(n)$, и $\mathbf {r} _{dx}(n)$ является эквивалентной оценкой перекрестной ковариации между $d(n)$ и $x(n)$. На основе этого выражения находим коэффициенты, минимизирующие функцию стоимости:

$\mathbf {w} _{n}=\mathbf {R} _{x}^{-1}(n)\,\mathbf {r} _{dx}(n)$

Это главный результат дискуссии.

Выбор λ

Чем меньше $\lambda$ то есть тем меньше вклад предыдущих выборок в ковариационную матрицу. Это делает фильтр более чувствительным к последним выборкам, что означает большие колебания коэффициентов фильтра. $\lambda =1$ Этот случай называется алгоритмом RLS растущего окна . На практике, $\lambda$ обычно выбирается между 0,98 и 1. Используя оценку максимального правдоподобия типа II, можно найти оптимальное $\lambda$ можно оценить по набору данных.

Рекурсивный алгоритм

В результате обсуждения было получено единственное уравнение для определения вектора коэффициентов, который минимизирует функцию стоимости. В этом разделе мы хотим получить рекурсивное решение вида

$\mathbf {w} _{n}=\mathbf {w} _{n-1}+\Delta \mathbf {w} _{n-1}$

где $\Delta \mathbf {w} _{n-1}$ является поправочным коэффициентом во времени ${n-1}$. Начнем вывод рекурсивного алгоритма с выражения перекрестной ковариации $\mathbf {r} _{dx}(n)$ с точки зрения $\mathbf {r} _{dx}(n-1)$

$\mathbf {r} _{dx}(n)$	$=\sum _{i=0}^{n}\lambda ^{n-i}d(i)\mathbf {x} (i)$
	$=\sum _{i=0}^{n-1}\lambda ^{n-i}d(i)\mathbf {x} (i)+\lambda ^{0}d(n)\mathbf {x} (n)$
	$=\lambda \mathbf {r} _{dx}(n-1)+d(n)\mathbf {x} (n)$

где $\mathbf {x} (i)$ это ${p+1}$ вектор размерных данных

$\mathbf {x} (i)=[x(i),x(i-1),\dots ,x(i-p)]^{T}$

Аналогично выражаем $\mathbf {R} _{x}(n)$ с точки зрения $\mathbf {R} _{x}(n-1)$ к

$\mathbf {R} _{x}(n)$	$=\sum _{i=0}^{n}\lambda ^{n-i}\mathbf {x} (i)\mathbf {x} ^{T}(i)$
	$=\lambda \mathbf {R} _{x}(n-1)+\mathbf {x} (n)\mathbf {x} ^{T}(n)$

Чтобы сгенерировать вектор коэффициентов, нас интересует обратная детерминированная автоковариационная матрица. Для этой задачи матричное тождество Вудбери пригодится . С

$A$	$=\lambda \mathbf {R} _{x}(n-1)$ является $(p+1)$-к- $(p+1)$
$U$	$=\mathbf {x} (n)$ является $(p+1)$-by-1 (вектор-столбец)
$V$	$=\mathbf {x} ^{T}(n)$ 1 на- $(p+1)$ (вектор-строка)
$C$	$=\mathbf {I} _{1}$ 1 на 1 является единичной матрицей

Матричное тождество Вудбери следует

$\mathbf {R} _{x}^{-1}(n)$	$=$	$\left[\lambda \mathbf {R} _{x}(n-1)+\mathbf {x} (n)\mathbf {x} ^{T}(n)\right]^{-1}$
	$=$	${\dfrac {1}{\lambda }}\left\lbrace \mathbf {R} _{x}^{-1}(n-1)-{\dfrac {\mathbf {R} _{x}^{-1}(n-1)\mathbf {x} (n)\mathbf {x} ^{T}(n)\mathbf {R} _{x}^{-1}(n-1)}{\lambda +\mathbf {x} ^{T}(n)\mathbf {R} _{x}^{-1}(n-1)\mathbf {x} (n)}}\right\rbrace$
		${\displaystyle }$

Чтобы соответствовать стандартной литературе, мы определяем

$\mathbf {P} (n)$	$=\mathbf {R} _{x}^{-1}(n)$
	$=\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)$

где вектор усиления $g(n)$ является

$\mathbf {g} (n)$	$=\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)\left\{1+\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)\right\}^{-1}$
	$=\mathbf {P} (n-1)\mathbf {x} (n)\left\{\lambda +\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {x} (n)\right\}^{-1}$

Прежде чем двигаться дальше, необходимо привести $\mathbf {g} (n)$ в другую форму

$\mathbf {g} (n)\left\{1+\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)\right\}$	$=\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)$
$\mathbf {g} (n)+\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)$	$=\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)$

Вычитание второго члена в левой части дает

$\mathbf {g} (n)$	$=\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)$
	$=\lambda ^{-1}\left[\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\right]\mathbf {x} (n)$

При рекурсивном определении $\mathbf {P} (n)$ желаемая форма следует

$\mathbf {g} (n)=\mathbf {P} (n)\mathbf {x} (n)$

Теперь мы готовы завершить рекурсию. Как обсуждалось

$\mathbf {w} _{n}$	$=\mathbf {P} (n)\,\mathbf {r} _{dx}(n)$
	$=\lambda \mathbf {P} (n)\,\mathbf {r} _{dx}(n-1)+d(n)\mathbf {P} (n)\,\mathbf {x} (n)$

Второй шаг следует из рекурсивного определения $\mathbf {r} _{dx}(n)$. Далее мы включаем рекурсивное определение $\mathbf {P} (n)$ вместе с альтернативной формой $\mathbf {g} (n)$ и получить

$\mathbf {w} _{n}$	$=\lambda \left[\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\right]\mathbf {r} _{dx}(n-1)+d(n)\mathbf {g} (n)$
	$=\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)+d(n)\mathbf {g} (n)$
	$=\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)+\mathbf {g} (n)\left[d(n)-\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)\right]$

С $\mathbf {w} _{n-1}=\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)$ мы приходим к уравнению обновления

$\mathbf {w} _{n}$	$=\mathbf {w} _{n-1}+\mathbf {g} (n)\left[d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n-1}\right]$
	$=\mathbf {w} _{n-1}+\mathbf {g} (n)\alpha (n)$

где $\alpha (n)=d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n-1}$это априорная ошибка. Сравните это с апостериорной ошибкой; ошибка, рассчитанная после обновления фильтра:

$e(n)=d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n}$

Это значит, что мы нашли поправочный коэффициент

$\Delta \mathbf {w} _{n-1}=\mathbf {g} (n)\alpha (n)$

Этот интуитивно удовлетворительный результат указывает на то, что поправочный коэффициент прямо пропорционален как ошибке, так и вектору усиления, который контролирует желаемую чувствительность посредством весового коэффициента: $\lambda$.

Краткое описание алгоритма RLS

Алгоритм RLS для фильтра RLS p -го порядка можно резюмировать как

Параметры:	$p=$ порядок фильтра
	$\lambda =$ фактор забывания
	$\delta =$ значение для инициализации $\mathbf {P} (0)$
Инициализация:	$\mathbf {w} (0)=0$,
	$x(k)=0,k=-p,\dots ,-1$,
	$d(k)=0,k=-p,\dots ,-1$
	$\mathbf {P} (0)=\delta I$ где $I$ – единичная матрица ранга $p+1$
Расчет:	Для $n=1,2,\dots$
	$\mathbf {x} (n)=\left[{\begin{matrix}x(n)\\x(n-1)\\\vdots \\x(n-p)\end{matrix}}\right]$
	$\alpha (n)=d(n)-\mathbf {x} ^{T}(n)\mathbf {w} (n-1)$
	$\mathbf {g} (n)=\mathbf {P} (n-1)\mathbf {x} (n)\left\{\lambda +\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {x} (n)\right\}^{-1}$
	$\mathbf {P} (n)=\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)$
	$\mathbf {w} (n)=\mathbf {w} (n-1)+\,\alpha (n)\mathbf {g} (n)$.

Рекурсия для $P$ следует алгебраическому уравнению Риккати и, таким образом, проводит параллели с фильтром Калмана .

Решетчатый рекурсивный фильтр наименьших квадратов (LRLS)

решеточно -рекурсивного метода наименьших квадратов Адаптивный фильтр связан со стандартным RLS, за исключением того, что он требует меньшего количества арифметических операций (порядок N ). Он предлагает дополнительные преимущества по сравнению с традиционными алгоритмами LMS, такие как более высокая скорость сходимости, модульная структура и нечувствительность к изменениям разброса собственных значений входной корреляционной матрицы. Описанный алгоритм LRLS основан на апостериорных ошибках и включает нормализованную форму. Вывод аналогичен стандартному алгоритму RLS и основан на определении $d(k)\,\!$. В случае прямого прогнозирования мы имеем $d(k)=x(k)\,\!$ с входным сигналом $x(k-1)\,\!$ как самый современный образец. Случай обратного прогнозирования $d(k)=x(k-i-1)\,\!$, где i — индекс выборки в прошлом, который мы хотим предсказать, а входной сигнал $x(k)\,\!$ это самый последний образец.

Сводка параметров

$\kappa _{f}(k,i)\,\!$ коэффициент прямого отражения

$\kappa _{b}(k,i)\,\!$ коэффициент обратного отражения

$e_{f}(k,i)\,\!$ представляет собой мгновенную ошибку апостериорного прямого прогнозирования

$e_{b}(k,i)\,\!$ представляет мгновенную ошибку апостериорного обратного прогнозирования

$\xi _{b_{\min }}^{d}(k,i)\,\!$ - минимальная ошибка обратного прогнозирования по методу наименьших квадратов

$\xi _{f_{\min }}^{d}(k,i)\,\!$ - минимальная ошибка прямого прогнозирования методом наименьших квадратов

$\gamma (k,i)\,\!$ - это коэффициент преобразования между априорными и апостериорными ошибками.

$v_{i}(k)\,\!$ – коэффициенты множителя прямой связи.

$\varepsilon \,\!$ — небольшая положительная константа, которая может составлять 0,01

Краткое описание алгоритма LRLS

Алгоритм фильтра LRLS можно резюмировать следующим образом:

Инициализация:
	Для ${\textstyle i=0,1,\ldots ,N}$
	$\delta (-1,i)=\delta _{D}(-1,i)=0\,\!$ (если ${\textstyle x(k)=0}$ для ${\textstyle k<0}$)
	$\xi _{b_{\min }}^{d}(-1,i)=\xi _{f_{\min }}^{d}(-1,i)=\varepsilon$
	$\gamma (-1,i)=1\,\!$
	$e_{b}(-1,i)=0\,\!$
	Конец
Расчет:
	Для ${\textstyle k\geq 0}$
	$\gamma (k,0)=1\,\!$
	$e_{b}(k,0)=e_{f}(k,0)=x(k)\,\!$
	$\xi _{b_{\min }}^{d}(k,0)=\xi _{f_{\min }}^{d}(k,0)=x^{2}(k)+\lambda \xi _{f_{\min }}^{d}(k-1,0)\,\!$
	$e(k,0)=d(k)\,\!$
	Для ${\textstyle i=0,1,\ldots ,N}$
	$\delta (k,i)=\lambda \delta (k-1,i)+{\frac {e_{b}(k-1,i)e_{f}(k,i)}{\gamma (k-1,i)}}$
	$\gamma (k,i+1)=\gamma (k,i)-{\frac {e_{b}^{2}(k,i)}{\xi _{b_{\min }}^{d}(k,i)}}$
	$\kappa _{b}(k,i)={\frac {\delta (k,i)}{\xi _{f_{\min }}^{d}(k,i)}}$
	$\kappa _{f}(k,i)={\frac {\delta (k,i)}{\xi _{b_{\min }}^{d}(k-1,i)}}$
	$e_{b}(k,i+1)=e_{b}(k-1,i)-\kappa _{b}(k,i)e_{f}(k,i)\,\!$
	$e_{f}(k,i+1)=e_{f}(k,i)-\kappa _{f}(k,i)e_{b}(k-1,i)\,\!$
	$\xi _{b_{\min }}^{d}(k,i+1)=\xi _{b_{\min }}^{d}(k-1,i)-\delta (k,i)\kappa _{b}(k,i)$
	$\xi _{f_{\min }}^{d}(k,i+1)=\xi _{f_{\min }}^{d}(k,i)-\delta (k,i)\kappa _{f}(k,i)$
	Упреждающая фильтрация
	$\delta _{D}(k,i)=\lambda \delta _{D}(k-1,i)+{\frac {e(k,i)e_{b}(k,i)}{\gamma (k,i)}}$
	$v_{i}(k)={\frac {\delta _{D}(k,i)}{\xi _{b_{\min }}^{d}(k,i)}}$
	$e(k,i+1)=e(k,i)-v_{i}(k)e_{b}(k,i)\,\!$
	Конец
	Конец

Нормализованный решеточный рекурсивный фильтр наименьших квадратов (NLRLS)

Нормализованная форма LRLS имеет меньше рекурсий и переменных. Его можно вычислить, применив нормализацию к внутренним переменным алгоритма, при которой их величина будет ограничена единицей. Обычно это не используется в приложениях реального времени из-за большого количества операций деления и извлечения квадратного корня, которые требуют высокой вычислительной нагрузки.

Краткое описание алгоритма NLRLS

Алгоритм фильтра NLRLS можно резюмировать следующим образом:

Инициализация:
	Для ${\textstyle i=0,1,\ldots ,N.}$
	${\overline {\delta }}(-1,i)=0\,\!$ (если ${\textstyle x(k)=d(k)=0}$ для ${\textstyle k<0}$)
	${\overline {\delta }}_{D}(-1,i)=0\,\!$
	${\overline {e}}_{b}(-1,i)=0\,\!$
	Конец
	$\sigma _{x}^{2}(-1)=\lambda \sigma _{d}^{2}(-1)=\varepsilon \,\!$
Расчет:
	Для ${\textstyle k\geq 0}$
	$\sigma _{x}^{2}(k)=\lambda \sigma _{x}^{2}(k-1)+x^{2}(k)\,\!$ (Энергия входного сигнала)
	$\sigma _{d}^{2}(k)=\lambda \sigma _{d}^{2}(k-1)+d^{2}(k)\,\!$ (Энергия опорного сигнала)
	${\overline {e}}_{b}(k,0)={\overline {e}}_{f}(k,0)={\frac {x(k)}{\sigma _{x}(k)}}\,\!$
	${\overline {e}}(k,0)={\frac {d(k)}{\sigma _{d}(k)}}\,\!$
	Для ${\textstyle i=0,1,\ldots ,N}$
	${\overline {\delta }}(k,i)=\delta (k-1,i){\sqrt {(1-{\overline {e}}_{b}^{2}(k-1,i))(1-{\overline {e}}_{f}^{2}(k,i))}}+{\overline {e}}_{b}(k-1,i){\overline {e}}_{f}(k,i)$
	${\overline {e}}_{b}(k,i+1)={\frac {{\overline {e}}_{b}(k-1,i)-{\overline {\delta }}(k,i){\overline {e}}_{f}(k,i)}{\sqrt {(1-{\overline {\delta }}^{2}(k,i))(1-{\overline {e}}_{f}^{2}(k,i))}}}$
	${\overline {e}}_{f}(k,i+1)={\frac {{\overline {e}}_{f}(k,i)-{\overline {\delta }}(k,i){\overline {e}}_{b}(k-1,i)}{\sqrt {(1-{\overline {\delta }}^{2}(k,i))(1-{\overline {e}}_{b}^{2}(k-1,i))}}}$
	Фильтр прямой связи
	${\overline {\delta }}_{D}(k,i)={\overline {\delta }}_{D}(k-1,i){\sqrt {(1-{\overline {e}}_{b}^{2}(k,i))(1-{\overline {e}}^{2}(k,i))}}+{\overline {e}}(k,i){\overline {e}}_{b}(k,i)$
	${\overline {e}}(k,i+1)={\frac {1}{\sqrt {(1-{\overline {e}}_{b}^{2}(k,i))(1-{\overline {\delta }}_{D}^{2}(k,i))}}}[{\overline {e}}(k,i)-{\overline {\delta }}_{D}(k,i){\overline {e}}_{b}(k,i)]$
	Конец
	Конец

См. также

• Адаптивный фильтр
• Адаптивный фильтр ядра
• Фильтр наименьших средних квадратов
• Эквалайзер с нулевым принуждением

Ссылки

• Хейс, Монсон Х. (1996). «9.4: Рекурсивный метод наименьших квадратов». Статистическая цифровая обработка сигналов и моделирование . Уайли. п. 541. ИСБН  0-471-59431-8 .
• Саймон Хайкин, Теория адаптивных фильтров , Прентис Холл, 2002 г., ISBN   0-13-048434-2
• МХА Дэвис, Р.Б. Винтер, Стохастическое моделирование и управление , Springer, 1985, ISBN   0-412-16200-8
• Вейфэн Лю, Хосе Принсипи и Саймон Хайкин, Адаптивная фильтрация ядра: всестороннее введение , Джон Уайли, 2010 г., ISBN   0-470-44753-2
• Р.Л.Плэкетт, Некоторые теоремы по наименьшим квадратам , Биометрика, 1950, 37, 149–157, ISSN   0006-3444
• К. Г. Гаусс, Теория сочетания наблюдений, допускающего наименьшие ошибки , 1821, Верке, 4. Геттинге