Обратное Мура – ​​Пенроуза

В математике и, в частности , в линейной алгебре , обратный Мур-Пенроуз ⁠ $A^{+}$⁠ матрицы ​ ⁠ $A$⁠ , часто называемый псевдообратной матрицей , является наиболее широко известным обобщением обратной матрицы . Он был независимо описан Э. Х. Муром в 1920 году. Арне Бьерхаммар в 1951 году. и Роджер Пенроуз в 1955 году. Ранее Эрик Ивар Фредхольм ввел концепцию псевдообратного интегрального оператора в 1903 году. Термины псевдообратный и обобщенный обратный иногда используются как синонимы обратной матрицы Мура – ​​Пенроуза, но иногда применяются к другим элементам алгебраических структур, которые имеют общие свойства. некоторые, но не все свойства, ожидаемые для обратного элемента .

Обычное использование псевдообратного метода — вычисление «наилучшего» ( наименьших квадратов ) приближенного решения системы линейных уравнений , у которой нет точного решения (см. ниже в разделе «Приложения »). Другое использование — найти минимальное ( евклидово ) нормированное решение системы линейных уравнений с несколькими решениями. Псевдообратное облегчает формулировку и доказательство результатов линейной алгебры.

Псевдообратная определена для всех прямоугольных матриц, элементами которых являются действительные или комплексные числа. Учитывая прямоугольную матрицу с действительными или комплексными элементами, ее псевдообратная уникальна. Его можно вычислить с помощью разложения по сингулярным значениям . В частном случае, когда ⁠ $A$⁠ — нормальная матрица (например, эрмитова), псевдообратная ⁠ $A^{+}$⁠ уничтожает ядро ​ ​​⁠ ​ $A$⁠ и действует как традиционная инверсия ⁠ $A$⁠ на подпространстве, ортогональном ядру.

Обозначения

В последующем обсуждении принимаются следующие соглашения.

• ⁠ $\mathbb {K}$⁠ будет обозначать одно из полей действительных или комплексных чисел, обозначаемое ⁠ $\mathbb {R}$⁠ , ⁠ $\mathbb {C}$⁠ соответственно. Векторное пространство ⁠ $m\times n$⁠ матрицы над ⁠ $\mathbb {K}$⁠ обозначается ⁠ $\mathbb {K} ^{m\times n}$⁠ .
• Для ⁠ $A\in \mathbb {K} ^{m\times n}$⁠ , транспонирование обозначается ⁠ $A^{\operatorname {T} }$⁠ и эрмитово транспонирование (также называемое сопряженным транспонированием ) обозначается ⁠ $A^{*}$⁠ . Если $\mathbb {K} =\mathbb {R}$, затем $A^{*}=A^{\operatorname {T} }$.
• Для ⁠ $A\in \mathbb {K} ^{m\times n}$⁠ , ⁠ $\operatorname {ran} (A)$⁠ (расшифровывается как « диапазон ») обозначает пространство столбца ( изображение ) ⁠ $A$⁠ (пространство, занимаемое векторами-столбцами ⁠ $A$⁠ ) ​​и ⁠ $\ker(A)$⁠ обозначает ядро ​​(нулевое пространство) ⁠ $A$⁠ .
• Для любого натурального числа ⁠ $n$⁠ , ⁠ $n\times n$⁠ единичная матрица обозначается ⁠ $I_{n}\in \mathbb {K} ^{n\times n}$⁠ .

Определение

Для $A\in \mathbb {K} ^{m\times n}$, псевдообратная к A определяется как матрица ⁠ $A^{+}\in \mathbb {K} ^{n\times m}$⁠ удовлетворяющий всем следующим четырем критериям, известным как условия Мура – ​​Пенроуза:

1. ⁠ $AA^{+}$⁠ не обязательно должна быть общей единичной матрицей, но она отображает все векторы-столбцы A в себя: $$AA^{+}A=\;A.$$
2. ⁠ $A^{+}$⁠ действует как слабая инверсия : $$A^{+}AA^{+}=\;A^{+}.$$
3. ⁠ $AA^{+}$⁠ является эрмитовым : $$\left(AA^{+}\right)^{*}=\;AA^{+}.$$
4. ⁠ $A^{+}A$⁠ также является эрмитовым: $$\left(A^{+}A\right)^{*}=\;A^{+}A.$$

Обратите внимание, что $A^{+}A$ и $AA^{+}$ являются идемпотентными операторами, как следует из $(AA^{+})^{2}=AA^{+}$ и $(A^{+}A)^{2}=A^{+}A$. Более конкретно, $A^{+}A$ проецируется на образ $A^{T}$ (эквивалентно интервалу строк $A$), и $AA^{+}$ проецируется на образ $A$ (эквивалентно размаху столбцов $A$). Фактически, приведенные выше четыре условия полностью эквивалентны $A^{+}A$ и $AA^{+}$ будучи такими ортогональными проекциями: $AA^{+}$ проецируя на образ $A$ подразумевает $(AA^{+})A=A$, и $A^{+}A$ проецируя на образ $A^{T}$ подразумевает $(A^{+}A)A^{+}=A^{+}$.

Псевдообратная $A^{+}$ существует для любой матрицы $A\in \mathbb {K} ^{m\times n}$. Если, кроме того, $A$ имеет полный ранг , то есть его ранг равен ⁠ $\min\{m,n\}$⁠ , тогда ⁠ $A^{+}$⁠ можно дать особенно простое алгебраическое выражение. В частности:

• Когда ⁠ $A$⁠ имеет линейно независимые столбцы (эквивалентно, ⁠ $A$⁠ инъективен, и, следовательно , ⁠ $A^{*}A$⁠ обратим), ⁠ $A^{+}$⁠ можно вычислить как $$A^{+}=\left(A^{*}A\right)^{-1}A^{*}.$$Этот конкретный псевдообратный является левым инверсным , то есть $A^{+}A=I$.
• Если, с другой стороны, $A$ имеет линейно независимые строки (эквивалентно, $A$ сюръективен, и, следовательно , ⁠ $AA^{*}$⁠ обратим), ⁠ $A^{+}$⁠ можно вычислить как $$A^{+}=A^{*}\left(AA^{*}\right)^{-1}.$$Это правая инверсия , так как $AA^{+}=I$.

В более общем случае псевдообратное можно выразить, используя разложение по сингулярным значениям . Любую матрицу можно разложить как $A=UDV^{*}$ для некоторых изометрий $U,V$ и диагональная неотрицательная действительная матрица $D$. Псевдообратное тогда можно записать как $A^{+}=VD^{+}U^{*}$, где $D^{+}$ является псевдообратным $D$ и может быть получен путем транспонирования матрицы и замены ненулевых значений их мультипликативными обратными значениями. Удовлетворение этой матрицы указанному требованию непосредственно проверяется, если заметить, что $AA^{+}=UU^{*}$ и $A^{+}A=VV^{*}$, которые являются проекциями на изображение и опорой $A$, соответственно.

Характеристики

Существование и уникальность

Как обсуждалось выше, для любой матрицы ⁠ $A$⁠ существует один и только один псевдообратный ⁠ $A^{+}$⁠ .

Матрица, удовлетворяющая только первому из приведенных выше условий, а именно ${\textstyle AA^{+}A=A}$, известен как обобщенный обратный. Если матрица удовлетворяет также второму условию, а именно ${\textstyle A^{+}AA^{+}=A^{+}}$, оно называется обобщенным рефлексивным обратным . Обобщенные обратные всегда существуют, но, как правило, не уникальны. Уникальность является следствием двух последних условий.

Основные свойства

Доказательства приведенных ниже свойств можно найти на сайте b: Темы абстрактной алгебры/линейной алгебры .

• Если ⁠ $A$⁠ имеет реальные записи, то и ⁠ тоже $A^{+}$⁠ .
• Если ⁠ $A$⁠ обратим , его псевдообратный является его обратным. То есть, $A^{+}=A^{-1}$.
• Псевдообратная псевдообратная - это исходная матрица: $\left(A^{+}\right)^{+}=A$.
• Псевдоинверсия коммутирует с транспозицией, комплексным сопряжением и сопряжением транспонирования: $$\left(A^{\operatorname {T} }\right)^{+}=\left(A^{+}\right)^{\operatorname {T} },\quad \left({\overline {A}}\right)^{+}={\overline {A^{+}}},\quad \left(A^{*}\right)^{+}=\left(A^{+}\right)^{*}.$$
• Псевдообратное скалярное кратное ⁠ $A$⁠ обратное кратное ⁠ $A^{+}$⁠ : $$\left(\alpha A\right)^{+}=\alpha ^{-1}A^{+}$$ для ⁠ $\alpha \neq 0$⁠ .
• Ядро и образ псевдообратного преобразования совпадают с ядром и образом сопряженного транспонирования: $\ker \left(A^{+}\right)=\ker \left(A^{*}\right)$ и $\operatorname {ran} \left(A^{+}\right)=\operatorname {ran} \left(A^{*}\right)$.

Личности

Следующая формула тождества может использоваться для отмены или расширения определенных подвыражений, включающих псевдообратные: $$A={}A{}A^{*}{}A^{+*}{}={}A^{+*}{}A^{*}{}A.$$ Эквивалентно, заменив $A^{+}$ для $A$ дает $$A^{+}={}A^{+}{}A^{+*}{}A^{*}{}={}A^{*}{}A^{+*}{}A^{+},$$ при замене $A^{*}$ для $A$ дает $$A^{*}={}A^{*}{}A{}A^{+}{}={}A^{+}{}A{}A^{*}.$$

Приведение к эрмитовому случаю

Вычисление псевдообратного метода сводится к его построению в эрмитовом случае. Это возможно через эквивалентности: $$A^{+}=\left(A^{*}A\right)^{+}A^{*},$$ $$A^{+}=A^{*}\left(AA^{*}\right)^{+},$$

как ⁠ $A^{*}A$⁠ и ⁠ $AA^{*}$⁠ являются эрмитовыми.

Псевдообратные произведения

Равенство ⁠ $(AB)^{+}=B^{+}A^{+}$⁠ в целом не выполняется. Скорее предположим, что ⁠ $A\in \mathbb {K} ^{m\times n},\ B\in \mathbb {K} ^{n\times p}$⁠ . Тогда следующие условия эквивалентны:

1. $$(AB)^{+}=B^{+}A^{+}$$
2. $${\begin{aligned}A^{+}ABB^{*}A^{*}&=BB^{*}A^{*},\\BB^{+}A^{*}AB&=A^{*}AB.\end{aligned}}$$
3. $${\begin{aligned}\left(A^{+}ABB^{*}\right)^{*}&=A^{+}ABB^{*},\\\left(A^{*}ABB^{+}\right)^{*}&=A^{*}ABB^{+}.\end{aligned}}$$
4. $$A^{+}ABB^{*}A^{*}ABB^{+}=BB^{*}A^{*}A$$
5. $${\begin{aligned}A^{+}AB&=B(AB)^{+}AB,\\BB^{+}A^{*}&=A^{*}AB(AB)^{+}.\end{aligned}}$$

Следующие условия являются достаточными для ⁠ $(AB)^{+}=B^{+}A^{+}$⁠ :

1. ⁠ $A$⁠ имеет ортонормированные столбцы (тогда $A^{*}A=A^{+}A=I_{n}$), или
2. ⁠ $B$⁠ имеет ортонормированные строки (тогда $BB^{*}=BB^{+}=I_{n}$), или
3. ⁠ $A$⁠ имеет линейно независимые столбцы (тогда $A^{+}A=I$ ) и ⁠ $B$⁠ имеет линейно независимые строки (тогда $BB^{+}=I$), или
4. $B=A^{*}$, или
5. $B=A^{+}$.

Следующее является необходимым условием для ⁠ $(AB)^{+}=B^{+}A^{+}$⁠ :

1. $(A^{+}A)(BB^{+})=(BB^{+})(A^{+}A)$

Четвертое достаточное условие дает равенства $${\begin{aligned}\left(AA^{*}\right)^{+}&=A^{+*}A^{+},\\\left(A^{*}A\right)^{+}&=A^{+}A^{+*}.\end{aligned}}$$

Вот контрпример, где ⁠ $(AB)^{+}\neq B^{+}A^{+}$⁠ :

$${\Biggl (}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}{\begin{pmatrix}0&0\\1&1\end{pmatrix}}{\Biggr )}^{+}={\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}={\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}\quad \neq \quad {\begin{pmatrix}{\tfrac {1}{4}}&0\\{\tfrac {1}{4}}&0\end{pmatrix}}={\begin{pmatrix}0&{\tfrac {1}{2}}\\0&{\tfrac {1}{2}}\end{pmatrix}}{\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}={\begin{pmatrix}0&0\\1&1\end{pmatrix}}^{+}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}$$

Проекторы

$P=AA^{+}$ и $Q=A^{+}A$ являются ортогональными операторами проектирования , т. е. являются эрмитовыми ( $P=P^{*}$, $Q=Q^{*}$) и идемпотент ( $P^{2}=P$ и $Q^{2}=Q$). Следующие положения имеют место:

• $PA=AQ=A$ и $A^{+}P=QA^{+}=A^{+}$
• ⁠ $P$⁠ — ортогональный проектор на область значений ⁠ $A$⁠ (что соответствует ортогональному дополнению ядра ⁠ $A^{*}$⁠ ).
• ⁠ $Q$⁠ — ортогональный проектор на область значений ⁠ $A^{*}$⁠ (что соответствует ортогональному дополнению ядра ⁠ $A$⁠ ).
• $I-Q=I-A^{+}A$ — ортогональный проектор на ядро ​​⁠ $A$⁠ .
• $I-P=I-AA^{+}$ — ортогональный проектор на ядро ​​⁠ $A^{*}$⁠ .

Последние два свойства подразумевают следующие тождества:

• $A\,\ \left(I-A^{+}A\right)=\left(I-AA^{+}\right)A\ \ =0$
• $A^{*}\left(I-AA^{+}\right)=\left(I-A^{+}A\right)A^{*}=0$

Другое свойство следующее: если ⁠ $A\in \mathbb {K} ^{n\times n}$⁠ эрмитово и идемпотентно (истинно тогда и только тогда, когда оно представляет собой ортогональный проектор), тогда для любой матрицы ⁠ $B\in \mathbb {K} ^{m\times n}$⁠ имеет место следующее уравнение: $$A(BA)^{+}=(BA)^{+}$$

Это можно доказать, определив матрицы $C=BA$, $D=A(BA)^{+}$, и проверяю это ⁠ $D$⁠ действительно является псевдообратным для ⁠ $C$⁠ проверив, что определяющие свойства псевдообратного выполняются, когда ⁠ $A$⁠ является эрмитовым и идемпотентным.

Из последнего свойства следует, что если ⁠ $A\in \mathbb {K} ^{n\times n}$⁠ эрмитово и идемпотентно для любой матрицы ⁠ $B\in \mathbb {K} ^{n\times m}$⁠ $$(AB)^{+}A=(AB)^{+}$$

Наконец, если ⁠ $A$⁠ — матрица ортогонального проектирования, то ее псевдообратная тривиально совпадает с самой матрицей, т. е. $A^{+}=A$.

Геометрическая конструкция

Если рассматривать матрицу как линейное отображение ⁠ $A:\mathbb {K} ^{n}\to \mathbb {K} ^{m}$⁠ над полем ⁠ $\mathbb {K}$⁠ тогда ⁠ $A^{+}:\mathbb {K} ^{m}\to \mathbb {K} ^{n}$⁠ можно разложить следующим образом. Мы пишем ⁠ $\oplus$⁠ для прямой суммы , ⁠ $\perp$⁠ для ортогонального дополнения , ⁠ $\ker$⁠ для ядра карты и ⁠ $\operatorname {ran}$⁠ для изображения карты. Обратите внимание, что $\mathbb {K} ^{n}=\left(\ker A\right)^{\perp }\oplus \ker A$ и $\mathbb {K} ^{m}=\operatorname {ran} A\oplus \left(\operatorname {ran} A\right)^{\perp }$. Ограничение $A:\left(\ker A\right)^{\perp }\to \operatorname {ran} A$ тогда является изоморфизмом. Это означает, что ⁠ $A^{+}$⁠ на ⁠ $\operatorname {ran} A$⁠ является обратным этому изоморфизму и равен нулю на $\left(\operatorname {ran} A\right)^{\perp }.$

Другими словами: найти ⁠ $A^{+}b$⁠ для данного ⁠ $b$⁠ в ⁠ $\mathbb {K} ^{m}$⁠ , первый проект ⁠ $b$⁠ ортогонально диапазону ⁠ $A$⁠ , нахождение точки ⁠ $p(b)$⁠ в диапазоне. Тогда образуем ⁠ $A^{-1}(\{p(b)\})$⁠ , то есть найти эти векторы в ⁠ $\mathbb {K} ^{n}$⁠ что ⁠ $A$⁠ отправляет ⁠ $p(b)$⁠ . Это будет аффинное подпространство ⁠ $\mathbb {K} ^{n}$⁠ параллельно ядру ⁠ $A$⁠ . Элемент этого подпространства, имеющий наименьшую длину (то есть ближайший к началу координат), является ответом ⁠ $A^{+}b$⁠ мы ищем. Его можно найти, взяв произвольный член ⁠ $A^{-1}(\{p(b)\})$⁠ и проецируем его ортогонально на ортогональное дополнение ядра ⁠ $A$⁠ .

Это описание тесно связано с решением линейной системы с минимальной нормой .

Предельные отношения

Псевдообратными являются пределы: $$A^{+}=\lim _{\delta \searrow 0}\left(A^{*}A+\delta I\right)^{-1}A^{*}=\lim _{\delta \searrow 0}A^{*}\left(AA^{*}+\delta I\right)^{-1}$$ (см. Тихоновскую регуляризацию ). Эти пределы существуют, даже если ⁠ $\left(AA^{*}\right)^{-1}$⁠ или ⁠ $\left(A^{*}A\right)^{-1}$⁠ не существуют.

Непрерывность

В отличие от обычного обращения матриц, процесс получения псевдообратных не является непрерывным : если последовательность ⁠ $\left(A_{n}\right)$⁠ сходится к матрице ⁠ $A$⁠ (скажем, в максимальной норме или норме Фробениуса ), тогда ⁠ $(A_{n})^{+}$⁠ не обязательно сходится к ⁠ $A^{+}$⁠ . Однако если все матрицы ⁠ $A_{n}$⁠ имеют тот же ранг, что и ⁠ $A$⁠ , ⁠ $(A_{n})^{+}$⁠ сойдётся к ⁠ $A^{+}$⁠ .

Производная

Позволять $x\mapsto A(x)$ быть вещественной дифференцируемой матрицей-функцией постоянного ранга в точке ⁠ $x_{0}$⁠ . Производная от $x\mapsto A^{+}(x)$ в $x_{0}$ можно вычислить через производную $A$ в $x_{0}$: $$\left.{\frac {\mathrm {d} }{\mathrm {d} x}}\right|_{x=x_{0}\!\!\!\!\!\!\!}A^{+}=-A^{+}\left({\frac {\mathrm {d} A}{\mathrm {d} x}}\right)A^{+}~+~A^{+}A^{+\top }\left({\frac {\mathrm {d} A^{\top }}{\mathrm {d} x}}\right)\left(I-AA^{+}\right)~+~\left(I-A^{+}A\right)\left({\frac {\mathrm {d} A^{\top }}{\mathrm {d} x}}\right)A^{+\top }A^{+},$$ где функции $A$, $A^{+}$ а производные в правой части оцениваются в $x_{0}$ (то есть, $A:=A(x_{0})$, $A^{+}:=A^{+}(x_{0})$, и т. д.). Для комплексной матрицы транспонирование заменяется сопряженным транспонированием. Для действительной симметричной матрицы ​​производная Магнуса-Нойдекера . установлена

Примеры

Поскольку для обратимых матриц псевдообратная равна обычной обратной, ниже рассматриваются только примеры необратимых матриц.

• Для $A={\begin{pmatrix}0&0\\0&0\end{pmatrix}},$ псевдообратный $A^{+}={\begin{pmatrix}0&0\\0&0\end{pmatrix}}.$ Единственность этого псевдообрата видна из требования $A^{+}=A^{+}AA^{+}$, поскольку умножение на нулевую матрицу всегда будет давать нулевую матрицу.
• Для $A={\begin{pmatrix}1&0\\1&0\end{pmatrix}},$ псевдообратный $A^{+}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\\0&0\end{pmatrix}}$.

Действительно, $A\,A^{+}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}$, и таким образом $A\,A^{+}A={\begin{pmatrix}1&0\\1&0\end{pmatrix}}=A$. Сходным образом, $A^{+}A={\begin{pmatrix}1&0\\0&0\end{pmatrix}}$, и таким образом $A^{+}A\,A^{+}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\\0&0\end{pmatrix}}=A^{+}$.

Обратите внимание, что ⁠ $A$⁠ не является ни инъективным, ни сюръективным, и поэтому псевдообратное невозможно вычислить с помощью $A^{+}=\left(A^{*}A\right)^{-1}A^{*}$ ни $A^{+}=A^{*}\left(AA^{*}\right)^{-1}$, как $A^{*}A$ и $AA^{*}$ оба единичны, и, кроме того, $A^{+}$ не является ни левым, ни правым обратным.

Тем не менее, псевдообратное можно вычислить с помощью SVD, наблюдая, что $A={\sqrt {2}}\left({\frac {\mathbf {e} _{1}+\mathbf {e} _{2}}{\sqrt {2}}}\right)\mathbf {e} _{1}^{*}$, и таким образом $A^{+}={\frac {1}{\sqrt {2}}}\,\mathbf {e} _{1}\left({\frac {\mathbf {e} _{1}+\mathbf {e} _{2}}{\sqrt {2}}}\right)^{*}$.

• Для $A={\begin{pmatrix}1&0\\-1&0\end{pmatrix}},$ $A^{+}={\begin{pmatrix}{\frac {1}{2}}&-{\frac {1}{2}}\\0&0\end{pmatrix}}.$
• Для $A={\begin{pmatrix}1&0\\2&0\end{pmatrix}},$ $A^{+}={\begin{pmatrix}{\frac {1}{5}}&{\frac {2}{5}}\\0&0\end{pmatrix}}$. Знаменатели здесь $5=1^{2}+2^{2}$.
• Для $A={\begin{pmatrix}1&1\\1&1\end{pmatrix}},$ $A^{+}={\begin{pmatrix}{\frac {1}{4}}&{\frac {1}{4}}\\{\frac {1}{4}}&{\frac {1}{4}}\end{pmatrix}}.$
• Для $A={\begin{pmatrix}1&0\\0&1\\0&1\end{pmatrix}},$ псевдообратный $A^{+}={\begin{pmatrix}1&0&0\\0&{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}$.

Для этой матрицы левая обратная и, следовательно, равна существует $A^{+}$, действительно, $A^{+}A={\begin{pmatrix}1&0\\0&1\end{pmatrix}}.$

Особые случаи

Скаляры

Также возможно определить псевдообратное значение для скаляров и векторов. Это равносильно тому, чтобы рассматривать их как матрицы. Псевдообратный скаляр ⁠ $x$⁠ равен нулю, если ⁠ $x$⁠ равен нулю, а величина, обратная ⁠ $x$⁠ иначе: $$x^{+}={\begin{cases}0,&{\mbox{if }}x=0;\\x^{-1},&{\mbox{otherwise}}.\end{cases}}$$

Векторы

Псевдообратным нулевому вектору (все нули) является транспонированный нулевой вектор. Псевдообратным ненулевого вектора является сопряженный транспонированный вектор, деленный на квадрат его величины:

$${\vec {x}}^{+}={\begin{cases}{\vec {0}}^{\operatorname {T} },&{\text{if }}{\vec {x}}={\vec {0}};\\{\vec {x}}^{*}/({\vec {x}}^{*}{\vec {x}}),&{\text{otherwise}}.\end{cases}}$$

Диагональные матрицы

Псевдообратная диагональная матрица в квадрате получается путем взятия обратной величины ненулевых диагональных элементов. Формально, если $D$ представляет собой квадрат диагональной матрицы с $D={\tilde {D}}\oplus \mathbf {0} _{k\times k}$ и ${\tilde {D}}>0$, затем $D^{+}={\tilde {D}}^{-1}\oplus \mathbf {0} _{k\times k}$. В более общем смысле, если $A$ есть ли какой-нибудь $m\times n$ прямоугольная матрица, единственные ненулевые элементы которой находятся на диагонали, что означает $A_{ij}=\delta _{ij}a_{i}$, $a_{i}\in \mathbb {K}$, затем $A^{+}$ это $n\times m$ прямоугольная матрица, диагональные элементы которой обратны исходным, то есть $A_{ii}\neq 0\implies A_{ii}^{+}=1/A_{ii}$.

Линейно независимые колонны

Если ранг ⁠ ​ $A$⁠ идентичен рангу своего столбца , ⁠ $n$⁠ , (для ⁠ $n\leq m$⁠ ,) есть ⁠ $n$⁠ линейно независимые столбцы и ⁠ $A^{*}A$⁠ обратим. В этом случае явная формула имеет вид: $$A^{+}=\left(A^{*}A\right)^{-1}A^{*}.$$

Отсюда следует, что ⁠ $A^{+}$⁠ тогда является левой инверсией ⁠ $A$⁠ :   $A^{+}A=I_{n}$.

Линейно независимые строки

Если ранг ⁠ ​ $A$⁠ идентичен своему рангу строки , ⁠ $m$⁠ , (для ⁠ $m\leq n$⁠ ,) есть ⁠ $m$⁠ линейно независимые строки и ⁠ $AA^{*}$⁠ обратим. В этом случае явная формула имеет вид: $$A^{+}=A^{*}\left(AA^{*}\right)^{-1}.$$

Отсюда следует, что ⁠ $A^{+}$⁠ является правой противоположностью ⁠ $A$⁠ :   $AA^{+}=I_{m}$.

Ортонормированные столбцы или строки

Это особый случай либо полного ранга столбца, либо полного ранга строки (рассмотрено выше). Если ⁠ $A$⁠ имеет ортонормированные столбцы ( $A^{*}A=I_{n}$) или ортонормированные строки ( $AA^{*}=I_{m}$), затем: $$A^{+}=A^{*}.$$

Нормальные матрицы

Если ⁠ $A$⁠ является нормальным , то есть он коммутирует со своим сопряженным транспонированием, тогда его псевдообратное можно вычислить путем его диагонализации, отображения всех ненулевых собственных значений в их обратные и отображения нулевых собственных значений в ноль. Следствием является то, что ⁠ $A$⁠ коммутация с его транспонированием подразумевает, что он коммутирует со своим псевдообратным.

EP-матрицы

(квадратная) матрица ⁠ $A$⁠ называется матрицей EP, если она коммутирует со своей псевдообратной. В таких случаях (и только в таких случаях) можно получить псевдообратный полином от ⁠ $A$⁠ . Полином $p(t)$ такой, что $A^{+}=p(A)$ можно легко получить из характеристического полинома ⁠ $A$⁠ или, в более общем смысле, из любого аннулирующего многочлена ⁠ $A$⁠ .

Матрицы ортогональных проекций

Это частный случай нормальной матрицы с собственными значениями 0 и 1. Если ⁠ $A$⁠ — матрица ортогонального проектирования, т. е. $A=A^{*}$ и $A^{2}=A$, то псевдообратная тривиально совпадает с самой матрицей: $$A^{+}=A.$$

Циркулирующие матрицы

Для циркулянтной матрицы ⁠ $C$⁠ разложение по сингулярным значениям задается преобразованием Фурье , то есть сингулярные значения являются коэффициентами Фурье. Пусть ⁠ ${\mathcal {F}}$⁠ — матрица дискретного преобразования Фурье (ДПФ) ; затем $${\begin{aligned}C&={\mathcal {F}}\cdot \Sigma \cdot {\mathcal {F}}^{*},\\C^{+}&={\mathcal {F}}\cdot \Sigma ^{+}\cdot {\mathcal {F}}^{*}.\end{aligned}}$$

Строительство

Разложение рангов

Пусть ⁠ $r\leq \min(m,n)$⁠ обозначает ранг ⁠ ​ $A\in \mathbb {K} ^{m\times n}$⁠ . Тогда ⁠ $A$⁠ можно (ранг) разложить как $A=BC$ где ⁠ $B\in \mathbb {K} ^{m\times r}$⁠ и ⁠ $C\in \mathbb {K} ^{r\times n}$⁠ имеют ранг ⁠ $r$⁠ . Затем $A^{+}=C^{+}B^{+}=C^{*}\left(CC^{*}\right)^{-1}\left(B^{*}B\right)^{-1}B^{*}$.

QR-метод

Для $\mathbb {K} \in \{\mathbb {R} ,\mathbb {C} \}$ вычисление произведения ⁠ $AA^{*}$⁠ или ⁠ $A^{*}A$⁠ и их обратные значения в явном виде часто являются источником числовых ошибок округления и затрат на вычисления на практике. Альтернативный подход с использованием разложения ⁠ QR - $A$ ⁠ Вместо этого можно использовать .

Рассмотрим случай, когда ⁠ $A$⁠ имеет полный ранг столбца, так что $A^{+}=\left(A^{*}A\right)^{-1}A^{*}$. Тогда разложение Холецкого $A^{*}A=R^{*}R$, где ⁠ $R$⁠ — верхняя треугольная матрица , можно использовать. Умножение на обратное затем легко выполняется путем решения системы с несколькими правыми частями: $$A^{+}=\left(A^{*}A\right)^{-1}A^{*}\quad \Leftrightarrow \quad \left(A^{*}A\right)A^{+}=A^{*}\quad \Leftrightarrow \quad R^{*}RA^{+}=A^{*}$$

которую можно решить прямой заменой с последующей обратной заменой .

Разложение Холецкого можно вычислить, не формируя ⁠ $A^{*}A$⁠ явно, альтернативно используя -разложение QR $A=QR$, где $Q$ имеет ортонормированные столбцы, $Q^{*}Q=I$, и ⁠ $R$⁠ — верхний треугольный. Затем $$A^{*}A\,=\,(QR)^{*}(QR)\,=\,R^{*}Q^{*}QR\,=\,R^{*}R,$$

итак ⁠ $R$⁠ - фактор Холецкого для ⁠ $A^{*}A$⁠ .

Случай полного ранга строки рассматривается аналогично с использованием формулы $A^{+}=A^{*}\left(AA^{*}\right)^{-1}$ и, используя аналогичный аргумент, поменяв ролями ⁠ $A$⁠ и ⁠ $A^{*}$⁠ .

Использование полиномов в матрицах

Для произвольного ⁠ $A\in \mathbb {K} ^{m\times n}$⁠ , у одного есть такое $A^{*}A$ является нормальной и, как следствие, матрицей ЭП. Тогда можно найти многочлен $p(t)$ такой, что $(A^{*}A)^{+}=p(A^{*}A)$. В этом случае псевдообратное к ⁠ $A$⁠ определяется $$A^{+}=p(A^{*}A)A^{*}=A^{*}p(AA^{*}).$$

Разложение по сингулярным значениям (SVD)

Вычислительно простой и точный способ вычисления псевдообратного значения — использование разложения по сингулярным значениям . Если $A=U\Sigma V^{*}$ это сингулярное разложение ⁠ $A$⁠ , тогда $A^{+}=V\Sigma ^{+}U^{*}$. Для прямоугольной диагональной матрицы, такой как ⁠ $\Sigma$⁠ , мы получаем псевдообратное, взяв обратную величину каждого ненулевого элемента на диагонали, оставив нули на месте. В численных вычислениях только элементы, превышающие некоторый малый допуск, считаются ненулевыми, а остальные заменяются нулями. Например, в MATLAB или GNU Octave. функции pinv допуск принимается равным t = ε⋅max( m , n )⋅max(Σ) , где ε — машинный эпсилон .

современная реализация (например, LAPACK В вычислительных затратах этого метода преобладает стоимость вычисления SVD, которая в несколько раз превышает стоимость умножения матриц на матрицы, даже если используется ).

Приведенная выше процедура показывает, почему выполнение псевдообратного процесса не является непрерывной операцией: если исходная матрица ⁠ $A$⁠ имеет сингулярное значение 0 (диагональный элемент матрицы ⁠ $\Sigma$⁠ выше), затем изменив ⁠ $A$⁠ слегка может превратить этот ноль в крошечное положительное число, тем самым существенно повлияв на псевдообратное, поскольку теперь нам нужно взять обратную величину крошечного числа.

Блочные матрицы

Существуют оптимизированные подходы для расчета псевдообратных матриц с блочной структурой.

Итерационный метод Бен-Исраэля и Коэна

Другой метод вычисления псевдообратного (см. обратное Дразина ) использует рекурсию $$A_{i+1}=2A_{i}-A_{i}AA_{i},$$

которую иногда называют последовательностью гипермощности. Эта рекурсия создает последовательность, квадратично сходящую к псевдообратной ⁠ $A$⁠ если он запускается с соответствующей ⁠ $A_{0}$⁠ удовлетворяющий $A_{0}A=\left(A_{0}A\right)^{*}$. Выбор $A_{0}=\alpha A^{*}$ (где $0<\alpha <2/\sigma _{1}^{2}(A)$, с ⁠ $\sigma _{1}(A)$⁠ обозначает наибольшее сингулярное значение ⁠ $A$⁠ ) Утверждается, что он неконкурентоспособен по сравнению с методом с использованием упомянутого выше SVD, поскольку даже для умеренно плохо обусловленных матриц требуется много времени, прежде чем ⁠ $A_{i}$⁠ входит в область квадратичной сходимости. Однако, если начать с ⁠ $A_{0}$⁠ уже близко к обратному Муру – Пенроузу и $A_{0}A=\left(A_{0}A\right)^{*}$, например $A_{0}:=\left(A^{*}A+\delta I\right)^{-1}A^{*}$, сходимость быстрая (квадратичная).

Обновление псевдоинверсии

Для случаев, когда ⁠ $A$⁠ имеет полный ранг строки или столбца и обратную корреляционную матрицу ( ⁠ $AA^{*}$⁠ для ⁠ $A$⁠ с полным рангом строки или ⁠ $A^{*}A$⁠ для полного ранга столбца) уже известна, псевдообратная для матриц, связанных с ⁠ $A$⁠ можно вычислить, применив формулу Шермана – Моррисона – Вудбери для обновления обратной корреляционной матрицы, что может потребовать меньше работы. В частности, если связанная матрица отличается от исходной только измененной, добавленной или удаленной строкой или столбцом, существуют дополнительные алгоритмы, использующие эту взаимосвязь.

Аналогично, можно обновить коэффициент Холецкого при добавлении строки или столбца, не создавая явно обратную матрицу корреляции. Однако обновление псевдоинверсии в общем случае с дефицитом ранга гораздо сложнее.

Библиотеки программного обеспечения

Качественные реализации SVD, QR и обратной замены доступны в стандартных библиотеках, таких как LAPACK . Написание собственной реализации SVD — это крупный программный проект, требующий значительных вычислительных знаний . Однако в особых обстоятельствах, таких как параллельные вычисления или встроенные вычисления , альтернативные реализации с помощью QR или даже использование явной обратной операции могут быть предпочтительными, а пользовательские реализации могут быть неизбежными.

Пакет Python NumPy обеспечивает псевдообратные вычисления с помощью своих функций. matrix.I и linalg.pinv; его pinv использует алгоритм на основе SVD. SciPy добавляет функцию scipy.linalg.pinv который использует решатель наименьших квадратов.

Пакет MASS для R обеспечивает расчет обратного Мура – ​​Пенроуза через ginv функция. ginv функция вычисляет псевдообратное значение, используя разложение по сингулярным значениям, предоставляемое функцией svd функция в базовом пакете R. Альтернативой является использование pinv функция доступна в пакете pracma.

Язык программирования Octave обеспечивает псевдоинверсию через стандартную функцию пакета. pinv и pseudo_inverse() метод.

В Julia (язык программирования) пакет LinearAlgebra стандартной библиотеки обеспечивает реализацию обратного выражения Мура-Пенроуза. pinv() реализовано посредством разложения по сингулярным значениям.

Приложения

Линейный метод наименьших квадратов

См. Также: Линейный метод наименьших квадратов (математика)

Псевдообратное обеспечивает методом наименьших квадратов решение системы линейных уравнений . Для ⁠ $A\in \mathbb {K} ^{m\times n}$⁠ , учитывая систему линейных уравнений $$Ax=b,$$

вообще вектор ⁠ $x$⁠ которая решает, что система может не существовать, а если она и существует, то не быть уникальной. Более конкретно, решение существует тогда и только тогда, когда $b$ находится в образе $A$, и уникален тогда и только тогда, когда $A$ является инъективным. Псевдообратная задача решает задачу «наименьших квадратов» следующим образом:

• ⁠ $\forall x\in \mathbb {K} ^{n}$⁠ , у нас есть $\left\|Ax-b\right\|_{2}\geq \left\|Az-b\right\|_{2}$ где $z=A^{+}b$ и $\|\cdot \|_{2}$ обозначает евклидову норму . Это слабое неравенство выполняется с равенством тогда и только тогда, когда $x=A^{+}b+\left(I-A^{+}A\right)w$ для любого вектора ⁠ $w$⁠ ; это обеспечивает бесконечное количество минимизирующих решений, если только ⁠ $A$⁠ имеет полный ранг столбца, и в этом случае ⁠ $\left(I-A^{+}A\right)$⁠ — нулевая матрица. Решение с минимальной евклидовой нормой: ⁠ $z.$⁠

Этот результат легко распространяется на системы с кратными правыми частями, когда евклидова норма заменяется нормой Фробениуса. Пусть ⁠ $B\in \mathbb {K} ^{m\times p}$⁠ .

• ⁠ $\forall X\in \mathbb {K} ^{n\times p}$⁠ , у нас есть $\|AX-B\|_{\mathrm {F} }\geq \|AZ-B\|_{\mathrm {F} }$ где $Z=A^{+}B$ и $\|\cdot \|_{\mathrm {F} }$ обозначает норму Фробениуса .

Получение всех решений линейной системы

Если линейная система

$$Ax=b$$

имеет какие-либо решения, все они даются формулой

$$x=A^{+}b+\left[I-A^{+}A\right]w$$

для произвольного вектора ⁠ $w$⁠ . Решение(я) существует тогда и только тогда, когда $AA^{+}b=b$. Если последнее верно, то решение единственно тогда и только тогда, когда ⁠ $A$⁠ имеет полный ранг столбца, и в этом случае ⁠ $I-A^{+}A$⁠ — нулевая матрица. Если решения существуют, но ⁠ $A$⁠ не имеет полного ранга столбца, то мы имеем неопределенную систему , все бесконечные решения которой задаются этим последним уравнением.

Решение минимальной нормы линейной системы

Для линейных систем $Ax=b,$ с неединственными решениями (например, недоопределенными системами) псевдообратное можно использовать для построения решения минимальной евклидовой нормы $\|x\|_{2}$ среди всех решений.

• Если $Ax=b$ выполним, вектор $z=A^{+}b$ является решением и удовлетворяет $\|z\|_{2}\leq \|x\|_{2}$ для всех решений.

Этот результат легко распространяется на системы с кратными правыми частями, когда евклидова норма заменяется нормой Фробениуса. Пусть ⁠ $B\in \mathbb {K} ^{m\times p}$⁠ .

• Если $AX=B$ выполнима, матрица $Z=A^{+}B$ является решением и удовлетворяет $\|Z\|_{\mathrm {F} }\leq \|X\|_{\mathrm {F} }$ для всех решений.

Номер условия

Используя псевдообратное и матричную норму , можно определить число обусловленности для любой матрицы: $${\mbox{cond}}(A)=\|A\|\left\|A^{+}\right\|.$$

Большое число обусловленности означает, что задача нахождения решений методом наименьших квадратов соответствующей системы линейных уравнений плохо обусловлена ​​в том смысле, что небольшие ошибки в элементах ⁠ $A$⁠ может привести к огромным ошибкам в записи решения.

Обобщения

Чтобы решить более общие задачи наименьших квадратов, можно определить обратные Мура – ​​Пенроуза для всех непрерывных линейных операторов ⁠ $A:H_{1}\rightarrow H_{2}$⁠ между двумя гильбертовыми пространствами ⁠ $H_{1}$⁠ и ⁠ $H_{2}$⁠ , используя те же четыре условия, что и в нашем определении выше. Оказывается, не всякий непрерывный линейный оператор имеет в этом смысле непрерывный линейный псевдообратный. Это делают именно те, чей диапазон закрыт в ⁠ $H_{2}$⁠ .

Понятие псевдообратного существует для матриц над произвольным полем, наделенных произвольным инволютивным автоморфизмом . В этом более общем случае данная матрица не всегда имеет псевдообратную. Необходимым и достаточным условием существования псевдообратного является то, что $\operatorname {rank} (A)=\operatorname {rank} \left(A^{*}A\right)=\operatorname {rank} \left(AA^{*}\right)$, где $A^{*}$ обозначает результат применения операции инволюции к транспонированию $A$. Когда оно существует, оно уникально. Пример : рассмотрим поле комплексных чисел, снабженное тождественной инволюцией (в отличие от инволюции, рассматриваемой в другом месте статьи); существуют ли матрицы, которые не имеют псевдообратных в этом смысле? Рассмотрим матрицу $A={\begin{bmatrix}1&i\end{bmatrix}}^{\operatorname {T} }$. Обратите внимание, что $\operatorname {rank} \left(AA^{\operatorname {T} }\right)=1$ пока $\operatorname {rank} \left(A^{\operatorname {T} }A\right)=0$. Таким образом, эта матрица не имеет псевдообратной в этом смысле.

В абстрактной алгебре инверсия Мура-Пенроуза может быть определена на *-регулярной полугруппе . Это абстрактное определение совпадает с определением в линейной алгебре.

См. также

• Дразин инверсный
• Матрица шляпы
• Обратный элемент
• Линейный метод наименьших квадратов (математика)
• Они псевдодетерминистичны.
• Обычное кольцо фон Неймана

Ссылки

• Бен-Исраэль, Ади ; Гревилл, Томас Н.Э. (2003). Обобщенные обратные: Теория и приложения (2-е изд.). Нью-Йорк, штат Нью-Йорк: Спрингер. дои : 10.1007/b97366 . ISBN  978-0-387-00293-4 .
• Кэмпбелл, СЛ; Мейер, CD-младший (1991). Обобщенные обратные линейные преобразования . Дувр. ISBN  978-0-486-66693-8 .
• Накамура, Ёсихико (1991). Передовая робототехника: резервирование и оптимизация . Аддисон-Уэсли. ISBN  978-0201151985 .
• Рао, К. Радхакришна; Митра, Суджит Кумар (1971). Обобщенная обратная матрица и ее приложения . Нью-Йорк: Джон Уайли и сыновья. п. 240 . ISBN  978-0-471-70821-6 .

Внешние ссылки

• Псевдообратная в PlanetMath .
• Интерактивная программа и учебное пособие по псевдоинверсии Мура – ​​Пенроуза
• Обобщенное обратное Мура-Пенроуза в PlanetMath .
• Вайсштейн, Эрик В. «Псевдоинверсия» . Математический мир .
• Вайсштейн, Эрик В. «Инверсия Мура – ​​Пенроуза» . Математический мир .
• Псевдообратная связь Мура–Пенроуза. Учебный обзор теории
• Онлайн калькулятор обратной Мура – ​​Пенроуза