Ограниченные наименьшие квадраты

В методе наименьших квадратов с ограничениями решается линейная задача наименьших квадратов с дополнительным ограничением на решение. Это означает, что неограниченное уравнение $\mathbf {X} {\boldsymbol {\beta }}=\mathbf {y}$ должны соответствовать как можно точнее (в смысле наименьших квадратов), гарантируя при этом, что некоторые другие свойства ${\boldsymbol {\beta }}$ сохраняется.

Часто существуют специальные алгоритмы для эффективного решения таких задач. Некоторые примеры ограничений приведены ниже:

• Метод наименьших квадратов с ограничением равенства : элементы ${\boldsymbol {\beta }}$ должен точно удовлетворить $\mathbf {L} {\boldsymbol {\beta }}=\mathbf {d}$ (см. Обыкновенные наименьшие квадраты ).
• Стохастический (линейный) метод наименьших квадратов с ограничениями: элементы ${\boldsymbol {\beta }}$ должен удовлетворить $\mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} +\mathbf {\nu }$, где $\mathbf {\nu }$ – вектор случайных величин такой, что $\operatorname {E} (\mathbf {\nu } )=\mathbf {0}$ и $\operatorname {E} (\mathbf {\nu } \mathbf {\nu } ^{\rm {T}})=\tau ^{2}\mathbf {I}$. Это фактически налагает предварительное распределение для ${\boldsymbol {\beta }}$ и поэтому эквивалентен байесовской линейной регрессии .
• Регуляризованные методы наименьших квадратов: элементы ${\boldsymbol {\beta }}$ должен удовлетворить $\|\mathbf {L} {\boldsymbol {\beta }}-\mathbf {y} \|\leq \alpha$ (выбирая $\alpha$ пропорционально стандартному отклонению шума y , предотвращает переобучение).
• Неотрицательный метод наименьших квадратов (NNLS): вектор ${\boldsymbol {\beta }}$ должно удовлетворять векторному неравенству ${\boldsymbol {\beta }}\geq {\boldsymbol {0}}$ определяется покомпонентно, то есть каждый компонент должен быть либо положительным, либо нулевым.
• Метод наименьших квадратов с ограничением по рамке: вектор ${\boldsymbol {\beta }}$ должно удовлетворять векторным неравенствам ${\boldsymbol {b}}_{\ell }\leq {\boldsymbol {\beta }}\leq {\boldsymbol {b}}_{u}$, каждый из которых определяется покомпонентно.
• Метод наименьших квадратов с целочисленным ограничением: все элементы ${\boldsymbol {\beta }}$ должны быть целыми числами (а не действительными числами ).
• Метод наименьших квадратов с фазовыми ограничениями: все элементы ${\boldsymbol {\beta }}$ должны быть действительными числами или умножены на одно и то же комплексное число единичного модуля.

Если ограничение применимо только к некоторым переменным, смешанную задачу можно решить с использованием разделимых наименьших квадратов. позволяя $\mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]$ и $\mathbf {\beta } ^{\rm {T}}=[\mathbf {\beta _{1}} ^{\rm {T}}\mathbf {\beta _{2}} ^{\rm {T}}]$ представляют собой неограниченный (1) и ограниченный (2) компоненты. Затем, подставив решение методом наименьших квадратов вместо $\mathbf {\beta _{1}}$, то есть

${\hat {\boldsymbol {\beta }}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{\boldsymbol {\beta }}_{2})$

(где ⁺ указывает на псевдообращение Мура-Пенроуза ) возвращение к исходному выражению дает (после некоторой перестановки) уравнение, которое можно решить как задачу с чисто ограничениями в $\mathbf {\beta } _{2}$.

$\mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta }}_{2}=\mathbf {P} \mathbf {y} ,$

где $\mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}$ является матрицей проекции . Согласно ограниченной оценке ${\hat {\boldsymbol {\beta }}}_{2}$ вектор ${\hat {\boldsymbol {\beta }}}_{1}$ получается из выражения выше.

См. также

• Байесовская линейная регрессия
• Ограниченная оптимизация
• Целочисленное программирование