Матрица Гессе

В математике матрица Гессе , матрица Гессе или (реже) матрица Гессе — это квадратная матрица второго порядка частных производных скалярной функции , или скалярного поля . Он описывает локальную кривизну функции многих переменных. Матрица Гессе была разработана в XIX веке немецким математиком Людвигом Отто Гессе и позже названа в его честь. Гессен первоначально использовал термин «функциональные детерминанты». Гессиан иногда обозначается H или, что неоднозначно, ∇ ² .

Определения и свойства

Предполагать $f:\mathbb {R} ^{n}\to \mathbb {R}$ это функция, принимающая в качестве входных данных вектор $\mathbf {x} \in \mathbb {R} ^{n}$ и вывод скаляра $f(\mathbf {x} )\in \mathbb {R} .$ порядка Если все частные производные второго $f$ существуют, то матрица Гессе $\mathbf {H}$ из $f$ это квадрат $n\times n$ матрица, обычно определяемая и организованная как

$$\mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.$$

То есть запись i- й строки и j -го столбца равна

$$(\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.$$

Если, кроме того, все вторые частные производные непрерывны, матрица Гессе является симметричной матрицей в силу симметрии вторых производных .

Определитель определителем матрицы Гессе называется Гессе .

Матрица Гессе функции $f$ транспонированием матрицы Якоби градиента функции является $f$; то есть: $\mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} ))^{T}.$

Приложения

Точки перегиба

Если $f$ — однородный многочлен от трех переменных, уравнение $f=0$— неявное уравнение плоской проективной кривой . Точками перегиба кривой являются именно те неособые точки, в которых определитель Гессе равен нулю. следует Из теоремы Безу , что кубическая плоская кривая имеет не более $9$ точки перегиба, поскольку определитель Гессе является многочленом степени $3.$

Тест второй производной

Основная статья: Второй тест частной производной

Матрица Гессе выпуклой функции полуопределена положительно . Уточнение этого свойства позволяет нам проверить, является ли критическая точка $x$ является локальным максимумом, локальным минимумом или седловой точкой следующим образом:

Если гессиан положительно определен в $x,$ затем $f$ достигает изолированного локального минимума при $x.$ Если гессиан отрицательно определен в $x,$ затем $f$ достигает изолированного локального максимума при $x.$ Если гессиан имеет как положительные, так и отрицательные собственные значения , то $x$ является перевалочной точкой для $f.$В противном случае тест не дает результатов. Это означает, что в локальном минимуме гессиан является положительно-полуопределенным, а в локальном максимуме гессиан является отрицательно-полуопределенным.

Для положительно-полуопределенных и отрицательно-полуопределенных гессианов тест не дает результатов (критическая точка, где гессиан является полуопределенным, но не определенным, может быть локальным экстремумом или седловой точкой). Однако с точки зрения теории Морса можно сказать больше .

Проверка второй производной для функций одной и двух переменных проще, чем общий случай. В одной переменной гессиан содержит ровно одну вторую производную; если оно положительное, то $x$ является локальным минимумом, и если он отрицателен, то $x$– локальный максимум; если он равен нулю, то тест не дает результатов. В двух переменных можно использовать определитель , поскольку определитель является произведением собственных значений. Если оно положительное, то собственные значения либо положительные, либо оба отрицательные. Если оно отрицательное, то два собственных значения имеют разные знаки. Если оно равно нулю, то тест второй производной не дает результатов.

Эквивалентно, условия второго порядка, достаточные для локального минимума или максимума, могут быть выражены через последовательность главных (самых верхних левых) миноров (определителей подматриц) гессиана; эти условия являются частным случаем условий, приведенных в следующем разделе для граничных гессианов для оптимизации с ограничениями — случая, когда количество ограничений равно нулю. В частности, достаточным условием минимума является то, что все эти главные миноры положительны, тогда как достаточным условием максимума является то, что миноры чередуются по знаку с $1\times 1$ второстепенный - отрицательный.

Критические точки

Если градиент (вектор частных производных) функции $f$ в какой-то момент равен нулю $\mathbf {x} ,$ затем $f$ имеет критическую точку (или стационарную точку ) при $\mathbf {x} .$ Определитель в гессиана $\mathbf {x}$в некоторых контекстах называется дискриминантом . Если этот определитель равен нулю, то $\mathbf {x}$ называется вырожденной критической точкой $f,$ или неморзовская критическая точка $f.$ В противном случае она невырождена и называется критической точкой Морса . $f.$

Матрица Гессе играет важную роль в теории Морса и теории катастроф , поскольку ее ядро ​​и собственные значения позволяют классифицировать критические точки.

Определитель матрицы Гессе, вычисленный в критической точке функции, равен гауссовой кривизне функции, рассматриваемой как многообразие. Собственные значения гессиана в этой точке являются главными кривизнами функции, а собственные векторы — главными направлениями кривизны. (См. Гауссову кривизну § Связь с главными кривизнами .)

Использование в оптимизации

Матрицы Гессе используются в крупномасштабных задачах оптимизации в методах типа Ньютона , поскольку они являются коэффициентом квадратичного члена локального разложения Тейлора функции. То есть,

$$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathrm {T} }\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathrm {T} }\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x}$$

где $\nabla f$ это градиент $\left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).$ Вычисление и сохранение полной матрицы Гессе занимает $\Theta \left(n^{2}\right)$памяти, что невозможно для многомерных функций, таких как функции потерь нейронных сетей , условные случайные поля и другие статистические модели с большим количеством параметров. Для таких ситуаций усеченного Ньютона и квазиньютона были разработаны алгоритмы . Последнее семейство алгоритмов использует приближения к гессиану; один из самых популярных квазиньютоновских алгоритмов — BFGS .

Такие аппроксимации могут использовать тот факт, что алгоритм оптимизации использует гессиан только как линейный оператор. $\mathbf {H} (\mathbf {v} ),$ и продолжайте, сначала заметив, что гессиан также появляется в локальном расширении градиента:

$$\nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})$$

Сдача в аренду $\Delta \mathbf {x} =r\mathbf {v}$ для некоторого скаляра $r,$ это дает

$$\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),$$

то есть,

$$\mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)$$

поэтому, если градиент уже вычислен, приблизительный гессиан можно вычислить с помощью линейного (по размеру градиента) числа скалярных операций. (Хотя эта аппроксимационная схема проста в программировании, она не является численно стабильной, поскольку $r$ должен быть небольшим, чтобы предотвратить ошибку из-за ${\mathcal {O}}(r)$ член, но при его уменьшении теряется точность в первом члене. )

В частности, что касается эвристики рандомизированного поиска, ковариационная матрица стратегии эволюции адаптируется к обратной матрице Гессе с точностью до скалярного коэффициента и небольших случайных флуктуаций. Этот результат был формально доказан для стратегии с одним родителем и статической модели по мере увеличения размера популяции на основе квадратичного приближения.

Другие приложения

Матрица Гессиана обычно используется для выражения операторов обработки изображений в обработке изображений и компьютерном зрении (см. Лапласиан гауссовского детектора капель (LoG), определитель детектора каплей Гессиана (DoH) и масштабное пространство ). Его можно использовать в обычном режиме анализа для расчета различных молекулярных частот в инфракрасной спектроскопии . Его также можно использовать в диагностике местной чувствительности и статистической диагностике.

Обобщения

Гессен

Гессиан с границами используется для теста второй производной в некоторых задачах оптимизации с ограничениями. Учитывая функцию $f$ рассмотренное ранее, но добавив ограничительную функцию $g$ такой, что $g(\mathbf {x} )=c,$ гессиан с границей - это гессиан функции Лагранжа $\Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]:$

$$\mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}$$

Если есть, скажем, $m$ ограничений, то ноль в верхнем левом углу является $m\times m$ блок нулей, и есть $m$ пограничные ряды вверху и $m$ пограничные столбцы слева.

Приведенные выше правила, гласящие, что экстремумы характеризуются (среди критических точек с неособым гессианом) положительно-определенным или отрицательно-определенным гессианом, здесь не могут применяться, поскольку окаймленный гессиан не может быть ни отрицательно-определенным, ни положительно-определенным, поскольку $\mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0$ если $\mathbf {z}$ — это любой вектор, единственная ненулевая запись которого является его первой.

Второй критерий производной состоит здесь из знаковых ограничений определителей некоторого набора $n-m$ подматрицы окаймленного гессиана. Интуитивно, $m$ ограничения можно рассматривать как сведение проблемы к проблеме с $n-m$свободные переменные. (Например, максимизация $f\left(x_{1},x_{2},x_{3}\right)$ с учетом ограничения $x_{1}+x_{2}+x_{3}=1$ можно свести к максимизации $f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)$ без ограничений.)

В частности, условия знака накладываются на последовательность ведущих главных миноров (определителей выровненных в верхнем левом углу подматриц) гессиана с границами, для которых первый $2m$ ведущие главные миноры игнорируются, наименьший минор состоит из усеченных первых $2m+1$ строк и столбцов, следующие состоят из усеченных первых $2m+2$строки и столбцы и т. д., причем последний — это весь гессен с окантовкой; если $2m+1$ больше, чем $n+m,$ тогда наименьший ведущий главный минор - это сам гессен. Таким образом, существуют $n-m$второстепенные значения, которые следует учитывать, каждый из которых оценивается в определенной точке и считается возможным максимумом или минимумом . Достаточным условием локального максимума является то, что эти миноры чередуются по знаку с наименьшим, имеющим знак $(-1)^{m+1}.$ Достаточным условием локального минимума является то, что все эти миноры имеют знак $(-1)^{m}.$ (В неограниченном случае $m=0$ эти условия совпадают с условиями, при которых гессиан без границ является отрицательно определенным или положительно определенным соответственно).

Векторные функции

Если $f$ вместо этого является векторным полем $\mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},$ то есть,

$$\mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),$$

то совокупность вторых частных производных не является $n\times n$ третьего порядка матрица, а скорее тензор . Это можно рассматривать как массив $m$ Матрицы Гессе, по одной для каждого компонента $\mathbf {f}$:

$$\mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).$$

Этот тензор вырождается в обычную матрицу Гессе, когда $m=1.$

Обобщение на сложный случай

В контексте нескольких комплексных переменных гессиан можно обобщить. Предполагать $f\colon \mathbb {C} ^{n}\to \mathbb {C} ,$ и написать $f\left(z_{1},\ldots ,z_{n}\right).$ Тогда обобщенный гессиан есть ${\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.$ Если $f$ удовлетворяет n-мерным условиям Коши–Римана , то комплексная матрица Гессе равна тождественному нулю.

Обобщения

Позволять $(M,g)$ быть римановым многообразием и $\nabla$это связь Леви-Чивита . Позволять $f:M\to \mathbb {R}$быть гладкой функцией. Определите тензор Гессе с помощью

$$\operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,$$

где при этом используется тот факт, что первая ковариантная производная функции совпадает с ее обычным дифференциалом. Выбор местных координат $\left\{x^{i}\right\}$ дает местное выражение для гессиана как

$$\operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}$$

где $\Gamma _{ij}^{k}$являются Кристоффелевыми символами связи. Другие эквивалентные формы гессиана имеют вид

$$\operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).$$

См. также

• Определитель матрицы Гессе является ковариантом; см. Инвариант двоичной формы
• Идентичность поляризации , полезная для быстрых вычислений с использованием гессианов.
• Матрица Якобиана — матрица всех частных производных первого порядка векторной функции. Страницы с краткими описаниями целей перенаправления.
• уравнение Гессе

Дальнейшее чтение

• Льюис, Дэвид В. (1991). Матричная теория . Сингапур: World Scientific. ISBN  978-981-02-0689-5 .
• Магнус, Ян Р.; Нойдекер, Хайнц (1999). «Второй дифференциал». Матричное дифференциальное исчисление: с приложениями в статистике и эконометрике (пересмотренное издание). Нью-Йорк: Уайли. стр. 99–115. ISBN  0-471-98633-Х .

Внешние ссылки

• «Гессиан функции» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Гессен» . Математический мир .