Направление спуска

В оптимизации направление спуска — это вектор $\mathbf {p} \in \mathbb {R} ^{n}$ что указывает на локальный минимум $\mathbf {x} ^{*}$ целевой функции $f:\mathbb {R} ^{n}\to \mathbb {R}$.

Вычисление $\mathbf {x} ^{*}$ итеративным методом, например поиском линии, определяет направление спуска $\mathbf {p} _{k}\in \mathbb {R} ^{n}$ в $k$итерация может быть любой $\mathbf {p} _{k}$ такой, что $\langle \mathbf {p} _{k},\nabla f(\mathbf {x} _{k})\rangle <0$, где $\langle ,\rangle$ обозначает внутренний продукт . Мотивацией такого подхода является то, что небольшие шаги вперед $\mathbf {p} _{k}$ гарантировать, что $\displaystyle f$ уменьшается по теореме Тейлора .

Используя это определение, отрицательный градиент ненулевого градиента всегда являетсянаправление снижения, т. $\langle -\nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle =-\langle \nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle <0$.

Существует множество методов расчета направлений спуска, каждый из которых имеет разные преимущества, например, градиентный спуск или метод сопряженных градиентов .

В более общем смысле, если $P$ положительно определенная матрица, то $p_{k}=-P\nabla f(x_{k})$ это направление спуска в $x_{k}$. Эта общность используется в методах предварительно обусловленного градиентного спуска .

См. также

• Производная по направлению