Матрица норма

Для общего понятия см. Норма (математика) .

В области математики . нормы определяются для элементов пространства векторного В частности, когда векторное пространство содержит матрицы, такие нормы называются матричными нормами . Матричные нормы отличаются от векторных тем, что они также должны взаимодействовать с матричным умножением.

Предварительные сведения

Учитывая поле $K$ действительных пусть или комплексных чисел , $K^{m\times n}$ – K - векторное пространство матриц с $m$ ряды и $n$ столбцы и записи в поле $K$. Матричная норма – норма это $K^{m\times n}$.

Нормы часто обозначаются двойной вертикальной чертой (например: $\|A\|$). Таким образом, матричная норма является функцией $\|\cdot \|:K^{m\times n}\to \mathbb {R}$ который должен удовлетворять следующим свойствам:

Для всех скаляров $\alpha \in K$ и матрицы $A,B\in K^{m\times n}$,

• $\|A\|\geq 0$ ( положительное значение )
• $\|A\|=0\iff A=0_{m,n}$ ( определенный )
• $\left\|\alpha A\right\|=\left|\alpha \right|\left\|A\right\|$ ( абсолютно однородный )
• $\|A+B\|\leq \|A\|+\|B\|$ ( субаддитивный или удовлетворяющий неравенству треугольника )

Единственная особенность, отличающая матрицы от переставленных векторов, — это умножение . Матричные нормы особенно полезны, если они также являются субмультипликативными :

• $\left\|AB\right\|\leq \left\|A\right\|\left\|B\right\|$

Каждая норма на K ^{n × n} можно масштабировать до суб-мультипликативного значения; в некоторых книгах норма терминологической матрицы зарезервирована для субмультипликативных норм.

Матричные нормы, индуцированные векторными нормами

Основная статья: Норма оператора

Предположим, что векторная норма $\|\cdot \|_{\alpha }$ на $K^{n}$ и векторная норма $\|\cdot \|_{\beta }$ на $K^{m}$ даны. Любой $m\times n$ матрица A индуцирует линейный оператор из $K^{n}$ к $K^{m}$ относительно стандартного базиса, и определяется соответствующая индуцированная норма , или операторная норма , или подчиненная норма в пространстве $K^{m\times n}$ из всех $m\times n$ матрицы следующим образом: $${\begin{aligned}\|A\|_{\alpha ,\beta }&=\sup\{\|Ax\|_{\beta }:x\in K^{n}{\text{ with }}\|x\|_{\alpha }=1\}\\&=\sup \left\{{\frac {\|Ax\|_{\beta }}{\|x\|_{\alpha }}}:x\in K^{n}{\text{ with }}x\neq 0\right\}.\end{aligned}}$$где $\sup$ обозначает супремум . Эта норма измеряет, насколько отображение, индуцированное $A$ может растягивать векторы.В зависимости от векторных норм $\|\cdot \|_{\alpha }$, $\|\cdot \|_{\beta }$ используются обозначения, отличные от $\|\cdot \|_{\alpha ,\beta }$ можно использовать для оператора нормы.

Матричные нормы, индуцированные векторными p-нормами

Если p -норма для векторов ( $1\leq p\leq \infty$) используется для обоих пространств $K^{n}$ и $K^{m},$ тогда соответствующая операторная норма равна: $$\|A\|_{p}=\sup _{x\neq 0}{\frac {\|Ax\|_{p}}{\|x\|_{p}}}.$$Эти индуцированные нормы отличаются от «входных» p -норм и Шаттена p -норм для рассматриваемых ниже матриц, которые также обычно обозначаются через $\|A\|_{p}.$

С геометрической точки зрения можно представить себе единичный шар с p-нормой. $V_{p,n}=\{x\in K^{n}:\|x\|_{p}\leq 1\}$ в $K^{n}$, затем примените линейное отображение $A$ на мяч. В конечном итоге это превратится в искаженную выпуклую форму. $AV_{p,n}\subset K^{m}$, и $\|A\|_{p}$ измеряет самый длинный «радиус» искаженной выпуклой формы. Другими словами, мы должны взять единичный шар с p-нормой. $V_{p,m}$ в $K^{m}$, затем умножьте его как минимум на $\|A\|_{p}$, чтобы он был достаточно большим, чтобы вместить $AV_{p,n}$.

р = 1, ∞

Когда $p=1,\infty$, у нас есть простые формулы. $$\|A\|_{1}=\max _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|,$$что представляет собой просто максимальную абсолютную сумму столбцов матрицы. $$\|A\|_{\infty }=\max _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|,$$что представляет собой просто максимальную абсолютную сумму строк матрицы.Например, для $$A={\begin{bmatrix}-3&5&7\\2&6&4\\0&2&8\\\end{bmatrix}},$$у нас есть это $$\|A\|_{1}=\max(|{-3}|+2+0;5+6+2;7+4+8)=\max(5,13,19)=19,$$$$\|A\|_{\infty }=\max(|{-3}|+5+7;2+6+4;0+2+8)=\max(15,12,10)=15.$$

Спектральная норма (p = 2)

Когда $p=2$ ( евклидова норма или $\ell _{2}$-норма для векторов), норма индуцированной матрицы является спектральной нормой . (Эти два значения не совпадают в бесконечных измерениях — дальнейшее обсуждение см . в разделе «Спектральный радиус» . Спектральный радиус не следует путать со спектральной нормой.) Спектральная норма матрицы $A$ является наибольшим сингулярным значением $A$ (т. е. квадратный корень из наибольшего собственного значения матрицы $A^{*}A,$ где $A^{*}$ обозначает транспонирование сопряженное $A$): $$\|A\|_{2}={\sqrt {\lambda _{\max }\left(A^{*}A\right)}}=\sigma _{\max }(A).$$где $\sigma _{\max }(A)$ представляет наибольшее сингулярное значение матрицы $A.$

Есть еще свойства:

• ${\textstyle \|A\|_{2}=\sup\{x^{*}Ay:x\in K^{m},y\in K^{n}{\text{ with }}\|x\|_{2}=\|y\|_{2}=1\}.}$ Доказывается неравенством Коши–Шварца .
• ${\textstyle \|A^{*}A\|_{2}=\|AA^{*}\|_{2}=\|A\|_{2}^{2}}$. Доказано методом сингулярного разложения (SVD) на $A$.
• ${\textstyle \|A\|_{2}=\sigma _{\mathrm {max} }(A)\leq \|A\|_{\rm {F}}={\sqrt {\sum _{i}\sigma _{i}(A)^{2}}}}$, где $\|A\|_{\textrm {F}}$ является нормой Фробениуса . Равенство имеет место тогда и только тогда, когда матрица $A$ является матрицей первого ранга или нулевой матрицей.

• $\|A\|_{2}={\sqrt {\rho (A^{*}A)}}\leq {\sqrt {\|A^{*}A\|_{\infty }}}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}$.

Матричные нормы, индуцированные векторными α- и β-нормами

Мы можем обобщить приведенное выше определение. Предположим, у нас есть векторные нормы $\|\cdot \|_{\alpha }$ и $\|\cdot \|_{\beta }$ для помещений $K^{n}$ и $K^{m}$ соответственно; соответствующая операторная норма равна $$\|A\|_{\alpha ,\beta }=\sup _{x\neq 0}{\frac {\|Ax\|_{\beta }}{\|x\|_{\alpha }}}.$$В частности, $\|A\|_{p}$ определенное ранее, является частным случаем $\|A\|_{p,p}$.

В особых случаях $\alpha =2$ и $\beta =\infty$, индуцированные матричные нормы можно вычислить по формуле $$\|A\|_{2,\infty }=\max _{1\leq i\leq m}\|A_{i:}\|_{2},$$где $A_{i:}$ — i-я строка матрицы $A$.

В особых случаях $\alpha =1$ и $\beta =2$, индуцированные матричные нормы можно вычислить по формуле $$\|A\|_{1,2}=\max _{1\leq j\leq n}\|A_{:j}\|_{2},$$где $A_{:j}$ — j-й столбец матрицы $A$.

Следовательно, $\|A\|_{2,\infty }$ и $\|A\|_{1,2}$ — максимальная 2-норма строки и столбца матрицы соответственно.

Характеристики

Любая операторная норма согласуется с индуцирующими ее векторными нормами, что дает $$\|Ax\|_{\beta }\leq \|A\|_{\alpha ,\beta }\|x\|_{\alpha }.$$

Предполагать $\|\cdot \|_{\alpha ,\beta }$; $\|\cdot \|_{\beta ,\gamma }$; и $\|\cdot \|_{\alpha ,\gamma }$ — операторные нормы, индуцированные соответствующими парами векторных норм $(\|\cdot \|_{\alpha },\|\cdot \|_{\beta })$; $(\|\cdot \|_{\beta },\|\cdot \|_{\gamma })$; и $(\|\cdot \|_{\alpha },\|\cdot \|_{\gamma })$. Затем,

$\|AB\|_{\alpha ,\gamma }\leq \|A\|_{\beta ,\gamma }\|B\|_{\alpha ,\beta };$

это следует из $$\|ABx\|_{\gamma }\leq \|A\|_{\beta ,\gamma }\|Bx\|_{\beta }\leq \|A\|_{\beta ,\gamma }\|B\|_{\alpha ,\beta }\|x\|_{\alpha }$$и $$\sup _{\|x\|_{\alpha }=1}\|ABx\|_{\gamma }=\|AB\|_{\alpha ,\gamma }.$$

Квадратные матрицы

Предполагать $\|\cdot \|_{\alpha ,\alpha }$ – операторная норма в пространстве квадратных матриц $K^{n\times n}$индуцированные векторными нормами $\|\cdot \|_{\alpha }$ и $\|\cdot \|_{\alpha }$.Тогда норма оператора является субмультипликативной матричной нормой: $$\|AB\|_{\alpha ,\alpha }\leq \|A\|_{\alpha ,\alpha }\|B\|_{\alpha ,\alpha }.$$

Более того, любая такая норма удовлетворяет неравенству

$$(\|A^{r}\|_{\alpha ,\alpha })^{1/r}\geq \rho (A)$$ ( 1 )

для всех положительных целых чисел , где ( A ) — спектральный радиус A. r ρ Для симметричного или эрмитового A мы имеем равенство в ( 1 ) для 2-нормы, так как в этом случае 2-норма в точности спектральным радиусом A. является Для произвольной матрицы мы не можем иметь равенства ни по какой норме; контрпримером будет $$A={\begin{bmatrix}0&1\\0&0\end{bmatrix}},$$который имеет исчезающий спектральный радиус. В любом случае для любой матричной нормы имеем формулу спектрального радиуса : $$\lim _{r\to \infty }\|A^{r}\|^{1/r}=\rho (A).$$

Последовательные и совместимые нормы

Матричная норма $\|\cdot \|$ на $K^{m\times n}$ называется согласованным с векторной нормой $\|\cdot \|_{\alpha }$ на $K^{n}$ и векторная норма $\|\cdot \|_{\beta }$ на $K^{m}$, если: $$\left\|Ax\right\|_{\beta }\leq \left\|A\right\|\left\|x\right\|_{\alpha }$$для всех $A\in K^{m\times n}$ и все $x\in K^{n}$. В частном случае m = n и $\alpha =\beta$, $\|\cdot \|$ также называется совместимым с $\|\cdot \|_{\alpha }$.

Все индуцированные нормы непротиворечивы по определению. Кроме того, любая субмультипликативная матричная норма на $K^{n\times n}$ индуцирует совместимую векторную норму на $K^{n}$ определяя $\left\|v\right\|:=\left\|\left(v,v,\dots ,v\right)\right\|$.

«Входные» матричные нормы

Эти нормы рассматривают $m\times n$ матрица как вектор размера $m\cdot n$и используйте одну из знакомых векторных норм. Например, используя p -норму для векторов p ≥ 1 , мы получаем:

$\|A\|_{p,p}=\|\mathrm {vec} (A)\|_{p}=\left(\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}\right)^{1/p}$

Это норма, отличная от индуцированной p -нормы Шаттена -нормы (см. выше) и p (см. ниже), но обозначения те же.

Частный случай p = 2 — это норма Фробениуса, а p = ∞ дает максимальную норму.

L _2,1 и L _p,q Нормы

Позволять $(a_{1},\ldots ,a_{n})$ быть столбцами матрицы $A$. Согласно первоначальному определению, матрица $A$ представляет n точек данных в m-мерном пространстве. $L_{2,1}$ норма – сумма евклидовых норм столбцов матрицы:

$\|A\|_{2,1}=\sum _{j=1}^{n}\|a_{j}\|_{2}=\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{2}\right)^{\frac {1}{2}}$

The $L_{2,1}$ норма как функция ошибок более надежна, поскольку ошибка для каждой точки данных (столбца) не возводится в квадрат. Он используется для надежного анализа данных и разреженного кодирования .

Для p , q ≥ 1 , $L_{2,1}$ норма может быть обобщена на $L_{p,q}$ норма следующим образом:

$\|A\|_{p,q}=\left(\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{p}\right)^{\frac {q}{p}}\right)^{\frac {1}{q}}.$

Норма Фробениуса

Основная статья: оператор Гильберта – Шмидта

Смотрите также: Внутренний продукт Фробениуса

Когда p = q = 2 для $L_{p,q}$ нормой, ее называют нормой Фробениуса или нормой Гильберта–Шмидта , хотя последний термин чаще используется в контексте операторов в (возможно, бесконечномерном) гильбертовом пространстве . Эту норму можно определить по-разному:

$\|A\|_{\text{F}}={\sqrt {\sum _{i}^{m}\sum _{j}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} \left(A^{*}A\right)}}={\sqrt {\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{2}(A)}},$

где трасса представляет собой сумму диагональных элементов, а $\sigma _{i}(A)$ являются значениями сингулярными $A$. Второе равенство доказывается явным вычислением $\mathrm {trace} (A^{*}A)$. Третье равенство доказывается сингулярным значениям разложением по $A$и тот факт, что след инвариантен относительно круговых сдвигов.

Норма Фробениуса является расширением евклидовой нормы на $K^{n\times n}$ и получается из внутреннего произведения Фробениуса на пространстве всех матриц.

Норма Фробениуса субмультипликативна и очень полезна для числовой линейной алгебры . Субмультипликативность нормы Фробениуса можно доказать с помощью неравенства Коши – Шварца .

Норму Фробениуса часто легче вычислить, чем индуцированные нормы, и она обладает полезным свойством инвариантности относительно вращений (и унитарных операций в целом). То есть, $\|A\|_{\text{F}}=\|AU\|_{\text{F}}=\|UA\|_{\text{F}}$ для любой унитарной матрицы $U$. Это свойство следует из цикличности следа ( $\operatorname {trace} (XYZ)=\operatorname {trace} (YZX)=\operatorname {trace} (ZXY)$):

$\|AU\|_{\text{F}}^{2}=\operatorname {trace} \left((AU)^{*}AU\right)=\operatorname {trace} \left(U^{*}A^{*}AU\right)=\operatorname {trace} \left(UU^{*}A^{*}A\right)=\operatorname {trace} \left(A^{*}A\right)=\|A\|_{\text{F}}^{2},$

и аналогично:

$\|UA\|_{\text{F}}^{2}=\operatorname {trace} \left((UA)^{*}UA\right)=\operatorname {trace} \left(A^{*}U^{*}UA\right)=\operatorname {trace} \left(A^{*}A\right)=\|A\|_{\text{F}}^{2},$

где мы использовали унитарную природу $U$ (то есть, $U^{*}U=UU^{*}=\mathbf {I}$).

Это также удовлетворяет

$\|A^{*}A\|_{\text{F}}=\|AA^{*}\|_{\text{F}}\leq \|A\|_{\text{F}}^{2}$

и

$\|A+B\|_{\text{F}}^{2}=\|A\|_{\text{F}}^{2}+\|B\|_{\text{F}}^{2}+2Re\left(\langle A,B\rangle _{\text{F}}\right),$

где $\langle A,B\rangle _{\text{F}}$ — внутренний продукт Фробениуса , а Re — действительная часть комплексного числа (не имеет значения для действительных матриц)

Макс норма

Максимальная норма — это поэлементная норма в пределе, когда p = q стремится к бесконечности:

$\|A\|_{\max }=\max _{i,j}|a_{ij}|.$

Эта норма не является субмультипликативной ; но изменив правую часть на ${\sqrt {mn}}\max _{i,j}\vert a_{ij}\vert$ делает это так.

Обратите внимание, что в некоторой литературе (например, «Коммуникационная сложность ») существует альтернативное определение максимальной нормы, также называемое $\gamma _{2}$-норма относится к норме факторизации:

$\gamma _{2}(A)=\min _{U,V:A=UV^{T}}\|U\|_{2,\infty }\|V\|_{2,\infty }=\min _{U,V:A=UV^{T}}\max _{i,j}\|U_{i,:}\|_{2}\|V_{j,:}\|_{2}$

Теневые нормы

Дополнительная информация: Теневая норма.

-нормы Шаттена p возникают при применении p -нормы к вектору сингулярных значений матрицы. Если сингулярные значения $m\times n$ матрица $A$ обозначаются σ _i -норма Шаттена , то p определяется формулой

$\|A\|_{p}=\left(\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{p}(A)\right)^{1/p}.$

Эти нормы снова имеют те же обозначения, что и индуцированные и входные p -нормы, но они различны.

Все нормы Шаттена субмультипликативны. Они также унитарно инвариантны, что означает, что $\|A\|=\|UAV\|$ для всех матриц $A$ и все унитарные матрицы $U$ и $V$.

Наиболее знакомые случаи — p = 1, 2, ∞. Случай p = 2 дает введенную ранее норму Фробениуса. Случай p = ∞ дает спектральную норму, которая представляет собой операторную норму, индуцированную векторной 2-нормой (см. выше). Наконец, p = 1 дает ядерную норму (также известную как норма следа или Кай Фана). «n»-норма ), определяемый как:

$\|A\|_{*}=\operatorname {trace} \left({\sqrt {A^{*}A}}\right)=\sum _{i=1}^{\min\{m,n\}}\sigma _{i}(A),$

где ${\sqrt {A^{*}A}}$ обозначает положительную полуопределенную матрицу $B$ такой, что $BB=A^{*}A$. Точнее, поскольку $A^{*}A$ — положительно-полуопределенная матрица , ее квадратный корень корректно определен. Ядерная норма $\|A\|_{*}$ является выпуклой оболочкой ранговой функции ${\text{rank}}(A)$, поэтому его часто используют в математической оптимизации для поиска матриц низкого ранга.

Объединение неравенства следов фон Неймана с неравенством Гельдера для евклидова пространства дает версию неравенства Гельдера для норм Шаттена для $1/p+1/q=1$:

$\left|\operatorname {trace} (A'B)\right|\leq \|A\|_{p}\|B\|_{q},$

В частности, отсюда следует нормовое неравенство Шаттена

$\|A\|_{F}^{2}\leq \|A\|_{p}\|A\|_{q}.$

Монотонные нормы

Матричная норма $\|\cdot \|$ называется монотонным, если оно монотонно относительно порядка Лёвнера . Таким образом, норма матрицы возрастает, если

$A\preccurlyeq B\Rightarrow \|A\|\leq \|B\|.$

Норма Фробениуса и спектральная норма являются примерами монотонных норм.

Вырезать нормы

Другим источником вдохновения для матричных норм является рассмотрение матрицы как смежности взвешенного матрицы ориентированного графа . Так называемая «норма сокращения» измеряет, насколько близок связанный граф к двудольному : $$\|A\|_{\Box }=\max _{S\subseteq [n],T\subseteq [m]}{\left|\sum _{s\in S,t\in T}{A_{t,s}}\right|}$$ где A ∈ K ^{m × n} . Эквивалентные определения (с точностью до постоянного множителя) налагают условия 2| С | > п и 2 | Т | > м ; С = Т ; или S ∩ Т знак равно ∅ .

Разрезанная норма эквивалентна индуцированной операторной норме ‖·‖ _∞→1 , которая сама по себе эквивалентна другой норме, называемой нормой Гротендика .

Чтобы определить норму Гротендика, сначала заметим, что линейный оператор K ¹ → К ¹ является просто скаляром и, таким образом, продолжается до линейного оператора на любом K ^к → К ^к . Более того, при любом выборе базиса для K ^н и К ^м , любой линейный оператор K ^н → К ^м продолжается до линейного оператора ( K ^к ) ^н → ( К ^к ) ^м , позволяя каждому элементу матрицы на элементах K ^к посредством скалярного умножения. Норма Гротендика является нормой этого расширенного оператора; в символах: $$\|A\|_{G,k}=\sup _{{\text{each }}u_{j},v_{j}\in K^{k};\|u_{j}\|=\|v_{j}\|=1}{\sum _{j\in [n],\ell \in [m]}{(u_{j}\cdot v_{j})A_{\ell ,j}}}$$

Норма Гротендика зависит от выбора базиса (обычно принимаемого за стандартный ) и k .

Эквивалентность норм

См. также: Эквивалентные нормы.

Для любых двух матричных норм $\|\cdot \|_{\alpha }$ и $\|\cdot \|_{\beta }$, у нас есть это:

$r\|A\|_{\alpha }\leq \|A\|_{\beta }\leq s\|A\|_{\alpha }$

для некоторых положительных чисел r и s для всех матриц $A\in K^{m\times n}$. Другими словами, все нормы по $K^{m\times n}$ эквивалентны ​ ; они индуцируют одну и ту же топологию на $K^{m\times n}$. Это верно, поскольку векторное пространство $K^{m\times n}$ имеет конечную размерность $m\times n$.

Более того, для каждой матричной нормы $\|\cdot \|$ на $\mathbb {R} ^{n\times n}$ существует единственное положительное действительное число $k$ такой, что $\ell \|\cdot \|$ является субмультипликативной матричной нормой для каждого $\ell \geq k$; а именно,

$k=\sup\{\Vert AB\Vert \,:\,\Vert A\Vert \leq 1,\Vert B\Vert \leq 1\}$.

Субмультипликативная матричная норма $\|\cdot \|_{\alpha }$ называется минимальной , если не существует другой субмультипликативной матричной нормы $\|\cdot \|_{\beta }$ удовлетворяющий $\|\cdot \|_{\beta }<\|\cdot \|_{\alpha }$.

Примеры эквивалентности норм

Позволять $\|A\|_{p}$ еще раз обратимся к норме, индуцированной вектором p -нормой (как указано выше в разделе «Индуцированная норма»).

Для матрицы $A\in \mathbb {R} ^{m\times n}$ ранга ​ $r$, имеют место следующие неравенства:

• $\|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {r}}\|A\|_{2}$
• $\|A\|_{F}\leq \|A\|_{*}\leq {\sqrt {r}}\|A\|_{F}$
• $\|A\|_{\max }\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\max }$
• ${\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }$
• ${\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}.$

См. также

• Двойная норма
• Логарифмическая норма

Библиография

• Джеймс В. Деммел , «Прикладная численная линейная алгебра», раздел 1.7, опубликовано SIAM, 1997.
• Карл Д. Мейер, Матричный анализ и прикладная линейная алгебра, опубликовано SIAM, 2000. [1]
• Джон Уотрус , Теория квантовой информации, 2.3 Нормы операторов , конспект лекций, Университет Ватерлоо, 2011.
• Кендалл Аткинсон , Введение в численный анализ, опубликовано John Wiley & Sons, Inc, 1989 г.