Нелинейный метод наименьших квадратов

Нелинейный метод наименьших квадратов — это форма анализа наименьших квадратов , используемая для сопоставления набора из m наблюдений с моделью, которая является нелинейной по n неизвестным параметрам ( m ≥ n ). Он используется в некоторых формах нелинейной регрессии . В основе метода лежит аппроксимация модели линейной и уточнение параметров путем последовательных итераций. Есть много общего с линейным методом наименьших квадратов , но есть и некоторые существенные различия . В экономической теории нелинейный метод наименьших квадратов применяется в (i) пробит-регрессии, (ii) пороговой регрессии, (iii) гладкой регрессии, (iv) регрессии логистических связей, (v) преобразованных регрессорах Бокса-Кокса ( $m(x,\theta _{i})=\theta _{1}+\theta _{2}x^{(\theta _{3})}$).

Теория

Рассмотрим набор $m$ точки данных, $(x_{1},y_{1}),(x_{2},y_{2}),\dots ,(x_{m},y_{m}),$ и кривая (модельная функция) ${\hat {y}}=f(x,{\boldsymbol {\beta }}),$ что помимо переменной $x$ также зависит от $n$ параметры, ${\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),$ с $m\geq n.$ Требуется найти вектор ${\boldsymbol {\beta }}$ параметров так, что кривая лучше всего соответствует заданным данным в смысле наименьших квадратов, то есть сумма квадратов

$$S=\sum _{i=1}^{m}r_{i}^{2}$$

минимизируется, где остатки (ошибки прогнозирования в выборке) r _i определяются выражением

$$r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})$$

для $i=1,2,\dots ,m.$

Минимальное градиент значение S возникает, когда равен нулю. Поскольку модель содержит n параметров, существует n уравнений градиента:

$${\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0\quad (j=1,\ldots ,n).$$

В нелинейной системе производные ${\textstyle {\frac {\partial r_{i}}{\partial \beta _{j}}}}$ являются функциями как независимой переменной, так и параметров, поэтому, как правило, эти градиентные уравнения не имеют замкнутого решения. Вместо этого для параметров необходимо выбрать начальные значения. Далее параметры уточняются итерационно, то есть значения получаются методом последовательного приближения:

$$\beta _{j}\approx \beta _{j}^{k+1}=\beta _{j}^{k}+\Delta \beta _{j}.$$

Здесь k — номер итерации и вектор приращений, $\Delta {\boldsymbol {\beta }}$ известен как вектор сдвига. На каждой итерации модель линеаризуется путем аппроксимации разложения полинома Тейлора первого порядка относительно ${\boldsymbol {\beta }}^{k}$

$$f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-\beta _{j}^{k}\right)=f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}J_{ij}\,\Delta \beta _{j}.$$

Матрица Якоби J . является функцией констант, независимой переменной и параметров, поэтому она меняется от одной итерации к другой Таким образом, в рамках линеаризованной модели

$${\frac {\partial r_{i}}{\partial \beta _{j}}}=-J_{ij}$$

а остатки определяются выражением

$$\Delta y_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k}),$$

$$r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})=\left(y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k})\right)+\left(f(x_{i},{\boldsymbol {\beta }}^{k})-f(x_{i},{\boldsymbol {\beta }})\right)\approx \Delta y_{i}-\sum _{s=1}^{n}J_{is}\Delta \beta _{s}.$$

Подставив эти выражения в уравнения градиента, они примут вид

$$-2\sum _{i=1}^{m}J_{ij}\left(\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s}\right)=0,$$

которые при перестановке превращаются в n одновременных линейных уравнений, нормальных уравнений

$$\sum _{i=1}^{m}\sum _{s=1}^{n}J_{ij}J_{is}\ \Delta \beta _{s}=\sum _{i=1}^{m}J_{ij}\ \Delta y_{i}\qquad (j=1,\dots ,n).$$

Нормальные уравнения записываются в матричной записи как

$$\left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\ \Delta \mathbf {y} .$$

Эти уравнения составляют основу алгоритма Гаусса – Ньютона для нелинейной задачи наименьших квадратов.

Обратите внимание на соглашение о знаках в определении матрицы Якоби через производные. Формулы, линейные по $J$ может появиться с коэффициентом $-1$ в других статьях или литературе.

Расширение с помощью веса

Когда наблюдения неодинаково надежны, взвешенная сумма квадратов может быть минимизирована:

$$S=\sum _{i=1}^{m}W_{ii}r_{i}^{2}.$$

Каждый элемент диагональной весовой матрицы W в идеале должен быть равен обратной величине дисперсии ошибки измерения. Тогда нормальные уравнения, в более общем смысле, таковы:

$$\left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .$$

интерпретация

В линейном методе наименьших квадратов целевая функция S является квадратичной функцией параметров.

$$S=\sum _{i}W_{ii}\left(y_{i}-\sum _{j}X_{ij}\beta _{j}\right)^{2}$$

Когда имеется только один параметр, график S относительно этого параметра будет параболой . При двух и более параметрах контуры S относительно любой пары параметров будут концентрическими эллипсами (при условии, что матрица нормальных уравнений $\mathbf {X} ^{\mathsf {T}}\mathbf {WX}$ положительно определен ). Минимальные значения параметров находятся в центре эллипсов. Геометрию общей целевой функции можно описать как эллиптический параболоид. В NLLSQ целевая функция квадратична по параметрам только в области, близкой к ее минимальному значению, где усеченный ряд Тейлора является хорошим приближением модели.

$$S\approx \sum _{i}W_{ii}\left(y_{i}-\sum _{j}J_{ij}\beta _{j}\right)^{2}$$

Чем больше значения параметров отличаются от оптимальных значений, тем больше контуры отклоняются от эллиптической формы. Следствием этого является то, что начальные оценки параметров должны быть как можно ближе к их (неизвестным!) оптимальным значениям. Это также объясняет, как может возникнуть расхождение, поскольку алгоритм Гаусса – Ньютона сходится только тогда, когда целевая функция приблизительно квадратична по параметрам.

Расчет

Первоначальные оценки параметров

Некоторые проблемы плохой обусловленности и расходимости можно исправить, найдя начальные оценки параметров, близкие к оптимальным значениям. Хороший способ сделать это – компьютерное моделирование . Наблюденные и расчетные данные отображаются на экране. Параметры модели корректируются вручную до тех пор, пока согласие между наблюдаемыми и расчетными данными не станет достаточно хорошим. Хотя это будет субъективное суждение, его достаточно, чтобы найти хорошую отправную точку для нелинейного уточнения. Начальные оценки параметров могут быть созданы с помощью преобразований или линеаризации. Еще лучше, эволюционные алгоритмы, такие как алгоритм стохастической воронки, могут привести к выпуклой зоне притяжения, окружающей оптимальные оценки параметров. Было показано, что гибридные алгоритмы, использующие рандомизацию и элитизм, а затем методы Ньютона, полезны и эффективны в вычислительном отношении. .

Решение

любой метод из описанных ниже Для поиска решения можно применить .

Критерии конвергенции

Критерием сходимости здравого смысла является то, что сумма квадратов не увеличивается от одной итерации к другой. Однако этот критерий зачастую трудно реализовать на практике по разным причинам. Полезным критерием сходимости является

$$\left|{\frac {S^{k}-S^{k+1}}{S^{k}}}\right|<0.0001.$$

Значение 0,0001 несколько произвольно и, возможно, его придется изменить. В частности, его может потребоваться увеличить, когда экспериментальные ошибки велики. Альтернативный критерий:

$$\left|{\frac {\Delta \beta _{j}}{\beta _{j}}}\right|<0.001,\qquad j=1,\dots ,n.$$

Опять же, числовое значение несколько произвольно; 0,001 эквивалентно указанию того, что каждый параметр должен быть уточнен до точности 0,1%. Это разумно, когда оно меньше наибольшего относительного стандартного отклонения параметров.

Расчет якобиана численным приближением

Основная статья: Числовое дифференцирование

Существуют модели, для которых вывести аналитические выражения элементов якобиана либо очень сложно, либо даже невозможно. Тогда численная аппроксимация

$${\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\approx {\frac {\delta f(x_{i},{\boldsymbol {\beta }})}{\delta \beta _{j}}}$$

получается расчетом $f(x_{i},{\boldsymbol {\beta }})$ для $\beta _{j}$ и $\beta _{j}+\delta \beta _{j}$. Приращение, $\delta \beta _{j}$размер следует выбирать таким образом, чтобы числовая производная не подвергалась ошибке аппроксимации из-за того, что она слишком велика, или ошибке округления из- за того, что она слишком мала.

Ошибки параметров, доверительные пределы, остатки и т. д.

Некоторая информация приведена в соответствующем разделе на странице Взвешенные наименьшие квадраты .

Множественные минимумы

Множественные минимумы могут возникнуть при различных обстоятельствах, вот некоторые из них:

• Параметр возводится в степень двойки и более. Например, при подгонке данных к Лоренца кривой
  $$f(x_{i},{\boldsymbol {\beta }})={\frac {\alpha }{1+\left({\frac {\gamma -x_{i}}{\beta }}\right)^{2}}}$$
  где $\alpha$ это высота, $\gamma$ это позиция и $\beta$ - это полуширина на половине высоты, для полуширины есть два решения: ${\hat {\beta }}$ и $-{\hat {\beta }}$ которые дают одинаковое оптимальное значение целевой функции.
• Два параметра можно поменять местами без изменения значения модели. Простой пример: модель содержит произведение двух параметров, поскольку $\alpha \beta$ даст то же значение, что и $\beta \alpha$.
• Параметр находится в тригонометрической функции, например $\sin \beta$, который имеет одинаковые значения при ${\hat {\beta }}+2n\pi$. См. алгоритма Левенберга – Марквардта . пример

Не все множественные минимумы имеют одинаковые значения целевой функции. Ложные минимумы, также известные как локальные минимумы, возникают, когда значение целевой функции превышает ее значение в так называемом глобальном минимуме. Чтобы быть уверенным, что найденный минимум является глобальным минимумом, уточнение следует начинать с сильно отличающимися начальными значениями параметров. Когда один и тот же минимум обнаруживается независимо от начальной точки, это, скорее всего, будет глобальный минимум.

Когда существует несколько минимумов, есть важное следствие: целевая функция будет иметь максимальное значение где-то между двумя минимумами. Матрица нормальных уравнений не является положительно определенной в максимуме целевой функции, поскольку градиент равен нулю и уникального направления спуска не существует. Уточнение от точки (набора значений параметров), близкой к максимуму, будет плохо обусловлено, и его следует избегать в качестве отправной точки. Например, при аппроксимации лоренциана матрица нормальных уравнений не является положительно определенной, когда полуширина полосы равна нулю.

Преобразование в линейную модель

Основная статья: Нелинейная регрессия § Преобразование

Нелинейную модель иногда можно преобразовать в линейную. Такое приближение, например, часто применимо вблизи наилучшего средства оценки и является одним из основных допущений в большинстве итерационных алгоритмов минимизации. Когда линейная аппроксимация действительна, модель можно напрямую использовать для вывода с помощью обобщенного метода наименьших квадратов , где уравнения линейного шаблона соответствуют применять.

Другим примером линейного приближения может быть случай, когда модель представляет собой простую показательную функцию:

$$f(x_{i},{\boldsymbol {\beta }})=\alpha e^{\beta x_{i}}$$

ее можно преобразовать в линейную модель путем логарифмирования.

$$\log f(x_{i},{\boldsymbol {\beta }})=\log \alpha +\beta x_{i}$$

Графически это соответствует работе на полулогарифмическом графике . Сумма квадратов становится

$$S=\sum _{i}(\log y_{i}-\log \alpha -\beta x_{i})^{2}.$$

Эту процедуру следует избегать, за исключением случаев, когда ошибки являются мультипликативными и имеют логарифмически нормальное распределение , поскольку это может привести к вводящим в заблуждение результатам. Это происходит из-за того, что какими бы ни были экспериментальные ошибки по y , ошибки по log y различны. Следовательно, при минимизации преобразованной суммы квадратов будут получены разные результаты как для значений параметров, так и для их рассчитанных стандартных отклонений. Однако при мультипликативных ошибках, которые имеют логарифмически нормальное распределение, эта процедура дает несмещенные и непротиворечивые оценки параметров.

Другой пример представляет собой кинетика Михаэлиса-Ментена , используемая для определения двух параметров. $V_{\max }$ и $K_{m}$:

$$v={\frac {V_{\max }[S]}{K_{m}+[S]}}.$$

График Лайнуивера -Бёрка

$${\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}$$

из ${\textstyle {\frac {1}{v}}}$ против ${\textstyle {\frac {1}{[S]}}}$ линейна по параметрам ${\textstyle {\frac {1}{V_{\max }}}}$ и ${\textstyle {\frac {K_{m}}{V_{\max }}}}$, но очень чувствителен к ошибкам данных и сильно склонен к подгонке данных в определенный диапазон независимой переменной. $[S]$.

Алгоритмы

Метод Гаусса-Ньютона

Основная статья: алгоритм Гаусса – Ньютона

Нормальные уравнения

$$\left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\left(\mathbf {J} ^{\mathsf {T}}\mathbf {W} \right)\Delta \mathbf {y}$$

может быть решено для $\Delta {\boldsymbol {\beta }}$ путем разложения Холецкого , как описано в линейном методе наименьших квадратов . Параметры обновляются итеративно

$${\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+\Delta {\boldsymbol {\beta }}$$

где k — номер итерации. Хотя этот метод может быть адекватен для простых моделей, он потерпит неудачу, если произойдет расхождение. Поэтому защита от расхождений имеет важное значение.

Сменная резка

Если происходит расхождение, простым решением является уменьшение длины вектора сдвига, $\Delta {\boldsymbol {\beta }}$, по дроби, f

$${\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+f\ \Delta {\boldsymbol {\beta }}.$$

Например, длина вектора сдвига может последовательно уменьшаться вдвое до тех пор, пока новое значение целевой функции не станет меньше ее значения на последней итерации. Дробь f можно оптимизировать с помощью поиска по строке . Поскольку каждое пробное значение f требует перерасчета целевой функции, не стоит слишком строго оптимизировать ее значение.

При использовании сдвига-обрезания направление вектора сдвига остается неизменным. Это ограничивает применимость метода ситуациями, когда направление вектора сдвига не сильно отличается от того, каким оно было бы, если бы целевая функция была приблизительно квадратичной по параметрам: ${\boldsymbol {\beta }}^{k}.$

Параметр Марквардта

Основная статья: алгоритм Левенберга – Марквардта

Если происходит расхождение и направление вектора сдвига настолько далеко от его «идеального» направления, что сокращение сдвига не очень эффективно, то есть доля f , необходимая для предотвращения расхождения, очень мала, направление необходимо изменить. Этого можно добиться с помощью параметра Марквардта . В этом методе нормальные уравнения модифицируются

$$\left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} +\lambda \mathbf {I} \right)\Delta {\boldsymbol {\beta }}=\left(\mathbf {J} ^{\mathsf {T}}\mathbf {W} \right)\Delta \mathbf {y}$$

где $\lambda$ — параметр Марквардта, а I — единичная матрица. Увеличение стоимости $\lambda$ приводит к изменению как направления, так и длины вектора сдвига. Вектор сдвига поворачивается в сторону наибольшего спуска, когда

$$\lambda \mathbf {I} \gg \mathbf {J} ^{\mathsf {T}}\mathbf {WJ} ,\ {\Delta {\boldsymbol {\beta }}}\approx {\frac {1}{\lambda }}\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .$$

$\mathbf {J} ^{\mathsf {T}}\mathbf {W} \,\Delta \mathbf {y}$ — вектор наискорейшего спуска. Итак, когда $\lambda$ становится очень большим, вектор сдвига становится небольшой частью вектора наискорейшего спуска.

Для определения параметра Марквардта были предложены различные стратегии. Как и в случае со сдвигом, слишком строгая оптимизация этого параметра является расточительством. Вместо этого, как только найдено значение, которое приводит к уменьшению значения целевой функции, это значение параметра переносится на следующую итерацию, уменьшается, если возможно, или увеличивается, если необходимо. При уменьшении значения параметра Марквардта существует пороговое значение, ниже которого его безопасно устанавливать равным нулю, то есть продолжать немодифицированный метод Гаусса–Ньютона. Значение отсечки может быть установлено равным наименьшему сингулярному значению якобиана. Граница этого значения определяется выражением $1/\operatorname {tr} \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)^{-1}$ где tr — функция трассировки .

QR-разложение

Минимум суммы квадратов можно найти методом, не предполагающим составления нормальных уравнений. Остатки линеаризованной модели можно записать как

$$\mathbf {r} =\Delta \mathbf {y} -\mathbf {J} \,\Delta {\boldsymbol {\beta }}.$$

Якобиан подвергается ортогональному разложению; QR -разложение послужит иллюстрацией этого процесса.

$$\mathbf {J} =\mathbf {QR}$$

где Q — ортогональный $m\times m$ матрица и R представляет собой $m\times n$ матрица, которая разбита на $n\times n$ блокировать, $\mathbf {R} _{n}$и $(m-n)\times n$ нулевой блок. $\mathbf {R} _{n}$ имеет верхнюю треугольную форму.

$$\mathbf {R} ={\begin{bmatrix}\mathbf {R} _{n}\\\mathbf {0} \end{bmatrix}}$$

Остаточный вектор умножается слева на $\mathbf {Q} ^{\mathsf {T}}$.

$$\mathbf {Q} ^{\mathsf {T}}\mathbf {r} =\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} -\mathbf {R} \ \Delta {\boldsymbol {\beta }}={\begin{bmatrix}\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} -\mathbf {R} \ \Delta {\boldsymbol {\beta }}\right)_{n}\\\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{m-n}\end{bmatrix}}$$

Это не влияет на сумму квадратов, поскольку $S=\mathbf {r} ^{\mathsf {T}}\mathbf {Q} \mathbf {Q} ^{\mathsf {T}}\mathbf {r} =\mathbf {r} ^{\mathsf {T}}\mathbf {r}$ потому Q ортогонален что Минимальное значение S достигается, когда верхний блок равен нулю. Поэтому вектор сдвига находится путем решения

$$\mathbf {R} _{n}\ \Delta {\boldsymbol {\beta }}=\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{n}.$$

Эти уравнения легко решаются, поскольку R является верхнетреугольным.

Разложение по сингулярным значениям

Вариант метода ортогонального разложения включает разложение по сингулярным значениям , при котором R диагонализуется дальнейшими ортогональными преобразованиями.

$$\mathbf {J} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{\mathsf {T}}$$

где $\mathbf {U}$ является ортогональным, ${\boldsymbol {\Sigma }}$ представляет собой диагональную матрицу сингулярных значений и $\mathbf {V}$ – ортогональная матрица собственных векторов $\mathbf {J} ^{\mathsf {T}}\mathbf {J}$ или, что то же самое, правые сингулярные векторы $\mathbf {J}$. В этом случае вектор сдвига определяется выражением

$$\Delta {\boldsymbol {\beta }}=\mathbf {V} {\boldsymbol {\Sigma }}^{-1}\left(\mathbf {U} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{n}.$$

Относительная простота этого выражения очень полезна при теоретическом анализе нелинейного метода наименьших квадратов. Применение разложения по сингулярным значениям подробно обсуждается у Лоусона и Хэнсона.

Градиентные методы

В научной литературе есть много примеров, когда для решения нелинейных задач аппроксимации данных использовались разные методы.

• Включение вторых производных в разложение модельной функции в ряд Тейлора. Это метод Ньютона в оптимизации .
  $$f(x_{i},{\boldsymbol {\beta }})=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}+{\frac {1}{2}}\sum _{j}\sum _{k}\Delta \beta _{j}\,\Delta \beta _{k}\,H_{jk_{(i)}},\ H_{jk_{(i)}}={\frac {\partial ^{2}f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}\,\partial \beta _{k}}}.$$
  Матрица H известна как матрица Гессе . Хотя эта модель имеет лучшие свойства сходимости вблизи минимума, она значительно хуже, когда параметры далеки от оптимальных значений. Вычисление гессиана усложняет алгоритм. Этот метод не является общеупотребительным.
• Метод Дэвидона–Флетчера–Пауэлла . Этот метод, разновидность метода псевдоньютона, аналогичен приведенному выше, но вычисляет гессиан методом последовательного приближения, чтобы избежать необходимости использовать аналитические выражения для вторых производных.
• Самый крутой спуск . Хотя уменьшение суммы квадратов гарантировано, когда вектор сдвига указывает в направлении наибольшего спуска, этот метод часто работает плохо. При значениях параметров, далеких от оптимальных, направление вектора наискорейшего спуска, нормального (перпендикулярного) к контурам целевой функции, сильно отличается от направления вектора Гаусса–Ньютона. Это делает расхождение гораздо более вероятным, особенно потому, что минимум в направлении наискорейшего спуска может соответствовать небольшой части длины вектора наикрутейшего спуска. Когда контуры целевой функции очень эксцентричны из-за высокой корреляции между параметрами, итерации самого крутого спуска с сокращением смещения следуют по медленной зигзагообразной траектории к минимуму.
• Поиск сопряженных градиентов . Это улучшенный метод, основанный на наискорейшем спуске, с хорошими теоретическими свойствами сходимости, хотя он может не работать на цифровых компьютерах конечной точности даже при использовании для решения квадратичных задач.

Методы прямого поиска

Методы прямого поиска зависят от оценок целевой функции при различных значениях параметров и вообще не используют производные. Они предлагают альтернативу использованию числовых производных в методе Гаусса – Ньютона и градиентных методах.

• Поиск попеременных переменных. Каждый параметр поочередно изменяется путем добавления к нему фиксированного или переменного приращения и сохранения значения, которое приводит к уменьшению суммы квадратов. Этот метод прост и эффективен, когда параметры не сильно коррелируют. Он имеет очень плохие свойства сходимости, но может быть полезен для нахождения начальных оценок параметров.
• Поиск Нелдера–Мида (симплексный) . Симплекс n в этом контексте — это многогранник из n + 1 вершин в измерениях ; треугольник на плоскости, тетраэдр в трехмерном пространстве и так далее. Каждая вершина соответствует значению целевой функции для определенного набора параметров. Форма и размер симплекса корректируются путем варьирования параметров таким образом, чтобы значение целевой функции в высшей вершине всегда уменьшалось. Хотя сумма квадратов может первоначально быстро уменьшаться, она может сходиться к нестационарной точке в квазивыпуклых задачах, на примере М. Дж. Д. Пауэлла.

Более подробные описания этих и других методов доступны в разделе «Численные рецепты » вместе с компьютерным кодом на разных языках.

См. также

• Машина векторов поддержки наименьших квадратов
• Подгонка кривой
• Модель серого ящика
• Нелинейное программирование
• Нелинейная регрессия
• Оптимизация (математика)
• Алгоритм Левенберга – Марквардта

Дальнейшее чтение

• Келли, Коннектикут (1999). Итерационные методы оптимизации (PDF) . SIAM Frontiers в прикладной математике. Том. нет 18. ISBN  0-89871-433-8 . {{cite book}}: |volume= есть дополнительный текст ( помощь )
• Струц, Т. (2016). Подбор данных и неопределенность: практическое введение в метод наименьших квадратов и далее (2-е изд.). Спрингер Вьюег. ISBN  978-3-658-11455-8 .