Произведение Адамара (матрицы)

Произведение Адамара работает с матрицами одинаковой формы и создает третью матрицу тех же размеров.

В математике произведение Адамара (также известное как поэлементное произведение , поэлементное произведение) или продукт Шура ) — это бинарная операция , которая принимает две матрицы одинаковых размеров и возвращает матрицу перемноженных соответствующих элементов. Эту операцию можно рассматривать как «наивное умножение матриц», и она отличается от произведения матрицы . Оно приписано и названо в честь французского математика Жака Адамара или немецкого математика Иссаи Шура .

Произведение Адамара ассоциативно и дистрибутивно . В отличие от матричного произведения, оно также коммутативно .

Определение

Для двух матриц A и B одинаковой размерности m × n произведение Адамара $A\odot B$ (иногда $A\circ B$) представляет собой матрицу той же размерности, что и операнды, с элементами, заданными формулой

$(A\odot B)_{ij}=(A)_{ij}(B)_{ij}.$

Для матриц разных размерностей ( m × n и p × q , где m ≠ p или n ≠ q ) произведение Адамара не определено.

Например, произведение Адамара для двух произвольных матриц размера 2 × 3:

${\begin{bmatrix}2&3&1\\0&8&-2\end{bmatrix}}\circ {\begin{bmatrix}3&1&4\\7&9&5\end{bmatrix}}={\begin{bmatrix}2\times 3&3\times 1&1\times 4\\0\times 7&8\times 9&-2\times 5\end{bmatrix}}={\begin{bmatrix}6&3&4\\0&72&-10\end{bmatrix}}$

Характеристики

• Произведение Адамара коммутативно (при работе с коммутативным кольцом), ассоциативно и дистрибутивно по сложению. То есть, если A , B и C — матрицы одного размера, а k — скаляр: $${\begin{aligned}A\odot B&=B\odot A,\\A\odot (B\odot C)&=(A\odot B)\odot C,\\A\odot (B+C)&=A\odot B+A\odot C,\\\left(kA\right)\odot B&=A\odot \left(kB\right)=k\left(A\odot B\right),\\A\odot 0&=0\odot A=0.\end{aligned}}$$
• Единичная матрица при умножении Адамара двух m × n матриц размера представляет собой матрицу размера m × n , где все элементы равны 1 . Это отличается от единичной матрицы при обычном умножении матрицы, где только элементы главной диагонали равны 1. Более того, матрица имеет обратную при умножении Адамара тогда и только тогда, когда ни один из элементов не равен нулю.
• Для векторов x и y и соответствующих диагональных матриц D _x и D _y с этими векторами в качестве главных диагоналей справедливо следующее тождество: $$\mathbf {x} ^{*}(A\circ B)\mathbf {y} =\operatorname {tr} \left({D}_{\mathbf {x} }^{*}A{D}_{\mathbf {y} }{B}^{\mathsf {T}}\right),$$ где х ^* обозначает транспонирование x . сопряженное В частности, используя векторы единиц, это показывает, что сумма всех элементов произведения Адамара является следом AB . ^Т где верхний индекс T обозначает транспонирование матрицы , то есть $\operatorname {tr} \left(AB^{\mathsf {T}}\right)=\mathbf {1} ^{\mathsf {T}}\left(A\odot B\right)\mathbf {1}$. Связанный результат для квадратов A и B заключается в том, что суммы строк их произведения Адамара являются диагональными элементами AB. ^Т : $$\sum _{i}(A\circ B)_{ij}=\left(B^{\mathsf {T}}A\right)_{jj}=\left(AB^{\mathsf {T}}\right)_{ii}.$$ Сходным образом, $$\left(\mathbf {y} \mathbf {x} ^{*}\right)\odot A={D}_{\mathbf {y} }A{D}_{\mathbf {x} }^{*}$$ Кроме того, произведение матрицы-вектора Адамара можно выразить как: $$(A\odot B)\mathbf {y} =\operatorname {diag} \left(AD_{\mathbf {y} }B^{\mathsf {T}}\right)$$ где $\operatorname {diag} (M)$ образованный из диагоналей матрицы M. — вектор ,
• Произведение Адамара является основной подматрицей произведения Кронекера .
• Произведение Адамара удовлетворяет ранговому неравенству $$\operatorname {rank} (A\odot B)\leq \operatorname {rank} (A)\operatorname {rank} (B)$$
• Если A и B — положительно определенные матрицы , то выполняется следующее неравенство, включающее произведение Адамара: $$\prod _{i=k}^{n}\lambda _{i}(A\odot B)\geq \prod _{i=k}^{n}\lambda _{i}(AB),\quad k=1,\ldots ,n,$$ где λ _i ( A ) е i- наибольшее собственное значение A . —
• Если D и E — диагональные матрицы , то $${\begin{aligned}D(A\odot B)E&=(DAE)\odot B=(DA)\odot (BE)\\&=(AE)\odot (DB)=A\odot (DBE).\end{aligned}}$$
• Произведение Адамара двух векторов $\mathbf {a}$ и $\mathbf {b}$ аналогично матричному умножению соответствующей диагональной матрицы одного вектора на другой вектор: $$\mathbf {a} \odot \mathbf {b} =D_{\mathbf {a} }\mathbf {b} =D_{\mathbf {b} }\mathbf {a}$$
• Вектор к диагональной матрице $\operatorname {diag}$ оператор может быть выражен с использованием произведения Адамара как: $$\operatorname {diag} (\mathbf {a} )=(\mathbf {a} \mathbf {1} ^{T})\odot I$$ где $\mathbf {1}$ — постоянный вектор с элементами $1$ и $I$ является единичной матрицей .

Смешанное свойство продукта

$$(A\otimes B)\odot (C\otimes D)=(A\odot C)\otimes (B\odot D),$$ где $\otimes$ является произведением Кронекера , предполагая $A$ имеет такие же размеры $C$ и $B$ с $D$.

$$(A\bullet B)\odot (C\bullet D)=(A\odot C)\bullet (B\odot D),$$ где $\bullet$ обозначает продукт расщепления граней .

$$(A\bullet B)(C\ast D)=(AC)\odot (BD),$$ где $\ast$ — постолбцовое произведение Хатри–Рао .

Теорема Шура о произведении

Основная статья: Теорема Шура о произведении

Произведение Адамара двух положительно-полуопределенных матриц является положительно-полуопределенным. Это известно как теорема о произведении Шура. в честь русского математика Иссая Шура . Для двух положительно-полуопределенных матриц A и B также известно, что определитель их произведения Адамара больше или равен произведению их соответствующих определителей: $$\det({A}\odot {B})\geq \det({A})\det({B}).$$

Аналогичные операции

В математической литературе встречаются и другие операции Адамара: а именно корень Адамара и Степень Адамара (которая по сути одно и то же из-за дробных индексов), определенная для такой матрицы, что:

Для $${\begin{aligned}{B}&={A}^{\circ 2}\\B_{ij}&={A_{ij}}^{2}\end{aligned}}$$

и для $${\begin{aligned}{B}&={A}^{\circ {\frac {1}{2}}}\\B_{ij}&={A_{ij}}^{\frac {1}{2}}\end{aligned}}$$

The Обратное Адамара гласит: $${\begin{aligned}{B}&={A}^{\circ -1}\\B_{ij}&={A_{ij}}^{-1}\end{aligned}}$$

А Деление Адамара определяется как:

$${\begin{aligned}{C}&={A}\oslash {B}\\C_{ij}&={\frac {A_{ij}}{B_{ij}}}\end{aligned}}$$

В языках программирования

Большинство языков научного или числового программирования включают произведение Адамара под разными названиями.

В MATLAB произведение Адамара выражается как «точечное умножение»: a .* bили вызов функции: times(a, b). Он также имеет аналогичные точечные операторы, к которым относятся, например, операторы a .^ b и a ./ b. Благодаря этому механизму можно зарезервировать * и ^ для матричного умножения и матричной экспоненты соответственно.

Язык программирования Julia имеет синтаксис, аналогичный MATLAB, где умножение Адамара называется широковещательным умножением и также обозначается a .* bи другие операторы определяются аналогично поэлементно, например, степени Адамара используют a .^ b. Но в отличие от MATLAB, в Julia этот «точечный» синтаксис обобщен с помощью универсального оператора широковещания. . который может применять любую функцию поэлементно. Сюда входят как бинарные операторы (такие как вышеупомянутые умножение и возведение в степень, а также любой другой бинарный оператор, такой как произведение Кронекера), а также унарные операторы, такие как ! и √. Таким образом, любая функция в префиксной записи f может применяться как f.(x).

Python не имеет встроенной поддержки массивов, что приводит к противоречивым или противоречивым обозначениям. Числовая библиотека NumPy интерпретирует a*b или a.multiply(b) как произведение Адамара, и использует a@b или a.matmul(b) для матричного продукта. С помощью символьной библиотеки SymPy умножение объекты массива как a*b или a@b будет производить матричный продукт. Произведение Адамара можно получить вызовом метода a.multiply_elementwise(b). Некоторые пакеты Python включают поддержку степеней Адамара с использованием таких методов, как np.power(a, b)или Панды метод a.pow(b).

В C++ библиотека Eigen предоставляет cwiseProduct функция-член для Матричный класс ( a.cwiseProduct(b)), а библиотека Armadillo использует оператор % составлять компактные выражения ( a % b; a * b является матричным произведением).

В GAUSS и HP Prime эта операция называется умножением массива.

В Fortran , R , APL , J и Wolfram Language ( Mathematica ) оператор умножения * или × применить произведение Адамара, тогда как матричное произведение записывается с помощью matmul, %*%, +.×, +/ .* и ., соответственно.Пакет R matrixcalc вводит функцию hadamard.prod() для произведения Адамара числовых матриц или векторов.

Приложения

Произведение Адамара появляется в алгоритмах сжатия с потерями, таких как JPEG . Шаг декодирования включает в себя произведение «вход-за-вход», другими словами, произведение Адамара.

При обработке изображений оператор Адамара можно использовать для улучшения, подавления или маскировки областей изображения. Одна матрица представляет исходное изображение, другая действует как весовая или маскирующая матрица.

Он используется в литературе по машинному обучению , например, для описания архитектуры рекуррентных нейронных сетей как GRU или LSTM .

Он также используется для изучения статистических свойств случайных векторов и матриц.

Проникающее средство для лица

Проникающее торцевое произведение матриц

По определению В. Слюсаря проникающее гранное произведение p × g матрицы ${A}$ и n -мерная матрица ${B}$ ( n > 1) с p × g ( блоками ${B}=[B_{n}]$) представляет собой матрицу размера ${B}$ формы: $${A}[\circ ]{B}=\left[{\begin{array}{c | c | c | c }{A}\circ {B}_{1}&{A}\circ {B}_{2}&\cdots &{A}\circ {B}_{n}\end{array}}\right].$$

Пример

Если $${A}={\begin{bmatrix}1&2&3\\4&5&6\\7&8&9\end{bmatrix}},\quad {B}=\left[{\begin{array}{c | c | c }{B}_{1}&{B}_{2}&{B}_{3}\end{array}}\right]=\left[{\begin{array}{c c c | c c c | c c c }1&4&7&2&8&14&3&12&21\\8&20&5&10&25&40&12&30&6\\2&8&3&2&4&2&7&3&9\end{array}}\right]$$

затем

$${A}[\circ ]{B}=\left[{\begin{array}{c c c | c c c | c c c }1&8&21&2&16&42&3&24&63\\32&100&30&40&125&240&48&150&36\\14&64&27&14&32&18&49&24&81\end{array}}\right].$$

Основные свойства

${A}[\circ ]{B}={B}[\circ ]{A};$

${M}\bullet {M}={M}[\circ ]\left({M}\otimes \mathbf {1} ^{\textsf {T}}\right),$

где $\bullet$ обозначает произведение матриц граней,

$\mathbf {c} \bullet {M}=\mathbf {c} [\circ ]{M},$ где $\mathbf {c}$ является вектором.

Приложения

Произведение проникающей грани используется в тензорно -матричной теории цифровых антенных решеток . Эту операцию также можно использовать в моделях искусственных нейронных сетей , особенно в сверточных слоях.

См. также

• Внутренний продукт Фробениуса
• Точечный продукт
• Продукт Кронекера
• Продукт Хатри-Рао