Продукт Кронекера
В математике , произведение Кронекера иногда обозначаемое ⊗, представляет собой операцию над двумя матрицами произвольного размера, в результате которой получается блочная матрица . Это специализация тензорного произведения (обозначаемого тем же символом) от векторов к матрицам и дающая линейное отображение матрицы тензорного произведения относительно стандартного выбора базиса . Произведение Кронекера следует отличать от обычного умножения матриц , которое представляет собой совершенно другую операцию. Произведение Кронекера также иногда называют прямым произведением матрицы . [1]
Произведение Кронекера названо в честь немецкого математика Леопольда Кронекера (1823–1891), хотя существует мало свидетельств того, что он первым определил и использовал его. Произведение Кронекера также называлось матрицей Цефуса и произведением Цефуса в честь Иоганна Георга Зефуса , который в 1858 году описал эту матричную операцию, но произведение Кронекера в настоящее время является наиболее широко используемым термином. [2] [3] Неправильная атрибуция Кронекера, а не Зефуса, произошла из-за Курта Хензеля . [4]
Определение
[ редактировать ]Если A — матрица размера m × n , а B — матрица размера p × q , то произведение Кронекера A ⊗ B — это блочная матрица размера pm × qn :
более явно:
С использованием и для обозначения усечения целочисленного деления и остатка соответственно и нумерации элементов матрицы, начиная с 0, получаем
Для обычной нумерации, начиная с 1, получаем
Если A и B представляют линейные преобразования V 1 → W 1 и V 2 → W 2 соответственно, то тензорное произведение двух отображений представляется как A ⊗ B , что то же самое, что V 1 ⊗ V 2 → W 1 ⊗ В 2 .
Примеры
[ редактировать ]Сходным образом:
Характеристики
[ редактировать ]Связь с другими матричными операциями
[ редактировать ]- Билинейность и ассоциативность :
Произведение Кронекера является частным случаем тензорного произведения , поэтому оно билинейно и ассоциативно :
- Некоммутативный :
В общем случае A ⊗ B и B ⊗ A — разные матрицы. Однако A ⊗ B и B ⊗ A эквивалентны перестановкам, что означает, что существуют матрицы перестановок P и Q такие, что [5]
Если A и B — квадратные матрицы, то A ⊗ B и B ⊗ A являются четными перестановками, подобными , что означает, что мы можем взять P = Q Т .
Матрицы P и Q являются матрицами идеального тасования. [6] Идеальная матрица тасования Sp q , r может быть построена путем взятия срезов матрицы I единичной , где .
Обозначение двоеточия MATLAB используется здесь для обозначения подматриц, а I r — единичная матрица размера r × r . Если и , затем
- Свойство смешанного продукта:
Если A , B , C и D — матрицы такого размера, что можно образовать матричные произведения AC и BD , то [7]
Это называется свойством смешанного произведения , поскольку оно смешивает обычный матричный продукт и продукт Кронекера.
Как непосредственное следствие (опять же, принимая во внимание и ),
В частности, используя свойство транспонирования снизу, это означает, что если
и Q и U ортогональны . (или унитарны ), то A также ортогональна (соответственно унитарна)
Смешанное матрично-векторное произведение Кронекера можно записать как:
- Произведение Адамара (поэлементное умножение):
Свойство смешанного продукта также работает для поэлементного продукта. Если A и C — матрицы одного размера, B и D — матрицы одного размера, то [7]
- Обратное произведение Кронекера:
Отсюда следует, что A ⊗ B обратимо оба тогда и только тогда, когда A и B обратимы , и в этом случае обратное задается формулой
Свойство обратимого произведения справедливо для псевдообратного Мура – Пенроуза : и [7] [8] то есть
На языке теории категорий свойство смешанного произведения произведения Кронекера (и более общего тензорного произведения) показывает, что категория Mat F матриц над полем F на самом деле является моноидальной категорией с натуральными числами объектов n и морфизмами. n → m — это матрицы размера n × m с элементами в F , композиция задаётся умножением матриц, единичные стрелки — это просто размера n × n единичные матрицы I n , а тензорное произведение задаётся произведением Кронекера. [9]
Mat F — это конкретная скелетная категория для эквивалентной категории FinVect F конечномерных векторных пространств над F , объектами которой являются такие конечномерные векторные пространства V , стрелки — это F -линейные отображения L : V → W , а тождественные стрелки — это тождественные отображения. пространств. Эквивалентность категорий сводится к одновременному выбору базиса в каждом конечномерном векторном пространстве V над F ; элементы матриц представляют эти отображения относительно выбранных базисов; и аналогично произведение Кронекера является представлением тензорного произведения в выбранных базисах. - Транспонировать :
Транспозиция и сопряженная транспозиция дистрибутивны по произведению Кронекера:
- и
- Определитель :
Пусть A — матрица размера n × n , а B — матрица размера m × m . Затем
- Сумма Кронекера и возведение в степень :
Если A равно n × n , B равно m × m , а I k обозначает k × k, единичную матрицу то мы можем определить то, что иногда называют суммой Кронекера , ⊕, по формуле
Это отличается от прямой суммы двух матриц. Эта операция связана с тензорным произведением на алгебрах Ли , как подробно описано ниже ( #Абстрактные свойства ) в пункте «Связь с абстрактным тензорным произведением ».
У нас есть следующая формула для матричной экспоненты , которая полезна в некоторых числовых оценках. [10]
Суммы Кронекера естественным образом возникают в физике при рассмотрении ансамблей невзаимодействующих систем . [ нужна ссылка ] Пусть Н к — гамильтониан k -й такой системы. Тогда полный гамильтониан ансамбля равен
- Векторизация произведения Кронекера:
Позволять быть матрица и а матрица. Когда порядок произведения Кронекера и векторизация меняются местами, эти две операции могут быть связаны линейно через функцию, которая включает в себя матрицу коммутации . То есть, и имеют следующие отношения:
Кроме того, приведенное выше соотношение можно переставить в терминах либо или следующее:
где
- Внешний продукт : Если и являются произвольными векторами, то внешний продукт между и определяется как . Произведение Кронекера связано с внешним произведением следующим образом: .
Абстрактные свойства
[ редактировать ]- Спектр :
Предположим, что A и B — квадратные матрицы размера n и m соответственно. Пусть λ 1 , ..., λ n — собственные значения оператора A , а µ 1 , ..., µ m — собственные значения B (перечислены в соответствии с кратностью ). Тогда собственные значения оператора A ⊗ B равны
Отсюда следует, что след и определитель произведения Кронекера имеют вид
- Сингулярные значения :
Если A и B — прямоугольные матрицы, то можно рассматривать их сингулярные значения . Предположим, что A имеет r A ненулевые сингулярные значения, а именно
Аналогично обозначим ненулевые сингулярные значения B через
Тогда произведение Кронекера A ⊗ B имеет r A r B ненулевые сингулярные значения, а именно
Поскольку ранг матрицы равен числу ненулевых сингулярных значений, мы находим, что
- Отношение к абстрактному тензорному произведению :
Кронекеровское произведение матриц соответствует абстрактному тензорному произведению линейных отображений. В частности, если векторные пространства V , W , X и Y имеют базы { v 1 , ..., v m }, { w 1 , ..., w n }, { x 1 , ..., x d } и { y 1 , ..., y e } соответственно, и если матрицы A и B представляют собой линейные преобразования S : V → X и T : W → Y соответственно в соответствующих базисах, то матрица A ⊗ B представляет тензорное произведение двух отображений S ⊗ T : V ⊗ W → X ⊗ Y относительно базиса { v 1 ⊗ w 1 , v 1 ⊗ w 2 , ..., v 2 ⊗ w 1 , ..., v m ⊗ w n } ⊗ V , W и аналогично определенный базис X ⊗ Y со свойством A ⊗ B ( v i ⊗ w j ) = ( Av i ) ⊗ ( Bw j ) где i и j — целые числа в правильном диапазоне. [11]
Когда V и W — алгебры Ли , а S : V → V и T : W → W — алгебры Ли , сумма Кронекера A и B представляет собой индуцированные гомоморфизмы алгебры Ли V ⊗ W → V ⊗ W. гомоморфизмы [ нужна ссылка ] - Отношение к произведениям графов : Кронекеровское произведение матриц смежности двух графов является матрицей смежности графа тензорного произведения . матриц Сумма Кронекера смежности двух графов представляет собой матрицу смежности графа декартового произведения . [12]
Матричные уравнения
[ редактировать ]Произведение Кронекера можно использовать для получения удобного представления некоторых матричных уравнений. Рассмотрим, например, уравнение AXB = C , где A , B и C — заданные матрицы, а матрица X — неизвестная. Мы можем использовать «трюк vec», чтобы переписать это уравнение как
Здесь vec( X ) обозначает векторизацию матрицы X , сформированную путем укладки столбцов X в один вектор-столбец .
Теперь из свойств произведения Кронекера следует, что уравнение AXB = C имеет единственное решение тогда и только тогда, когда A и B обратимы ( Horn & Johnson 1991 , лемма 4.3.1).
Если X и C упорядочены по строкам в вектор-столбцы u и v соответственно, тогда ( Jain 1989 , 2.8 Блочные матрицы и произведения Кронекера)
Причина в том, что
Приложения
[ редактировать ]Пример применения этой формулы смотрите в статье об уравнении Ляпунова . Эта формула также пригодится, чтобы показать, что матричное нормальное распределение является частным случаем многомерного нормального распределения . Эта формула также полезна для представления операций обработки двумерных изображений в матрично-векторной форме.
Другой пример: когда матрицу можно факторизовать как произведение Кронекера, тогда умножение матрицы можно выполнить быстрее, используя приведенную выше формулу. Это можно применять рекурсивно, как это делается в БПФ по основанию 2 и быстром преобразовании Уолша-Адамара . Разбиение известной матрицы на произведение Кронекера двух меньших матриц известно как проблема «ближайшего произведения Кронекера» и может быть решено точно. [13] с помощью СВД . Оптимальное разделение матрицы на произведение Кронекера более чем двух матриц является сложной проблемой и предметом текущих исследований; некоторые авторы называют это проблемой тензорного разложения. [14] [15]
В сочетании с методом наименьших квадратов произведение Кронекера можно использовать как точное решение задачи калибровки «рука-глаз» . [16]
Связанные матричные операции
[ редактировать ]Две связанные матричные операции — это произведения Трейси–Сингха и Хатри–Рао , которые работают с разделенными матрицами . Пусть m × n матрица A разбита на m i × n j блоки A ij , а p × q матрица B на p k × q ℓ блоки B kl , при этом, конечно, Σ i m i = m , Σ j n j знак равно п , Σ k п k знак равно п и Σ ℓ q ℓ знак равно q .
Продукт Трейси – Сингха
[ редактировать ]Произведение Трейси – Сингха определяется как [17] [18] [19]
что означает, что ( ij )-й подблок mp × nq произведения A B — m i p × n j q матрица размера A ij B , из которых ( kℓ )-й подблок равен m i p k × n j q ℓ матрице A ij ⊗ B kℓ . По сути, произведение Трейси – Сингха представляет собой попарное произведение Кронекера для каждой пары разбиений в двух матрицах.
Например, если A и B представляют собой разделенные матрицы размером 2 × 2 , например:
мы получаем:
Продукт Хатри-Рао
[ редактировать ]- Блок-продукт Кронекера
- Столбцовый продукт Хатри – Рао
Продукт для разделения лица
[ редактировать ]Свойства смешанной продукции [20]
где обозначает продукт разделения граней . [21] [22]
Сходным образом: [23]
где и являются векторами , [24]
где и являются векторами , а обозначает произведение Адамара .
Сходным образом:
- ,
где векторная свертка и - матрица преобразования Фурье (этот результат представляет собой развитие эскиза подсчета свойств [25] ), [21] [22]
где обозначает постолбцовое произведение Хатри – Рао .
Сходным образом:
где и являются векторами .
См. также
[ редактировать ]Примечания
[ редактировать ]- ^ Вайсштейн, Эрик В. «Продукт Кронекера» . mathworld.wolfram.com . Проверено 06 сентября 2020 г.
- ^ Зефусс, Г. (1858). «По определенному определителю» . Журнал математики и физики . 3 :298-301.
- ^ Хендерсон, Гарольд В.; Пукельсхайм, Фридрих; Сирл, Шейл Р. (1983). «К истории кронекерского изделия» . Линейная и полилинейная алгебра . 14 (2): 113–120. дои : 10.1080/03081088308817548 . hdl : 1813/32834 . ISSN 0308-1087 .
- ^ Сайед, Али Х. (22 декабря 2022 г.). Выводы и обучение на основе данных: основы . Издательство Кембриджского университета. ISBN 978-1-009-21812-2 .
- ^ Хендерсон, ХВ; Сирл, СР (1980). «Матрица vec-перестановок, оператор vec и произведения Кронекера: обзор» (PDF) . Линейная и полилинейная алгебра . 9 (4): 271–288. дои : 10.1080/03081088108817379 . hdl : 1813/32747 .
- ^ Ван Лоан, Чарльз Ф. (2000). «Вездесущий продукт Кронекера» . Журнал вычислительной и прикладной математики . 123 (1–2): 85–100. Бибкод : 2000JCoAM.123...85L . дои : 10.1016/s0377-0427(00)00393-9 .
- ^ Перейти обратно: а б с Лю, Шуанчжэ; Тренклер, Гетц; Колло, Тону; фон Розен, Дитрих; Баксалари, Оскар Мария (2023). «Профессор Хайнц Нойдекер и матричное дифференциальное исчисление». Статистические документы . дои : 10.1007/s00362-023-01499-w .
- ^ Лэнгвилл, Эми Н .; Стюарт, Уильям Дж. (1 июня 2004 г.). «Произведение Кронекера и сети стохастических автоматов» . Журнал вычислительной и прикладной математики . 167 (2): 429–447. Бибкод : 2004JCoAM.167..429L . дои : 10.1016/j.cam.2003.10.010 .
- ^ Маседо, Уго Даниэль; Оливейра, Хосе Нуно (2013). «Типизация линейной алгебры: подход, ориентированный на два произведения». Наука компьютерного программирования . 78 (11): 2160–2191. arXiv : 1312.4818 . Бибкод : 2013arXiv1312.4818M . CiteSeerX 10.1.1.747.2083 . дои : 10.1016/j.scico.2012.07.012 . S2CID 9846072 .
- ^ Брюэр, JW (1969). «Заметка о матричных произведениях Кронекера и системах матричных уравнений». SIAM Journal по прикладной математике . 17 (3): 603–606. дои : 10.1137/0117057 .
- ^ Даммит, Дэвид С.; Фут, Ричард М. (1999). Абстрактная алгебра (2-е изд.). Нью-Йорк: Джон Уайли и сыновья. стр. 401–402. ISBN 978-0-471-36857-1 .
- ^ См. Кнут, Д.Е. «Предварительный выпуск 0a: Введение в комбинаторные алгоритмы» (нулевая печать, 2-е изд.). ответ на упражнение 96. Архивировано из оригинала 13 мая 2019 г. Проверено 24 октября 2007 г. , появится как часть Кнут, Д.Э. Искусство компьютерного программирования . Том. 4А.
- ^ Ван Лоан, К.; Пицианис, Н. (1992). Приближение произведениями Кронекера . Итака, Нью-Йорк: Издательство Корнельского университета.
- ^ король Кеунг Ву; Ям, Юнг; Мэн, Хелен; Месбахи, Мехран (2016). «Аппроксимация произведения Кронекера с помощью многофакторных матриц с помощью алгоритма тензорного произведения». Международная конференция IEEE по системам, человеку и кибернетике (SMC) , 2016 г. стр. 004277–004282. дои : 10.1109/SMC.2016.7844903 . ISBN 978-1-5090-1897-0 . S2CID 30695585 .
- ^ Дантас, Кассио Ф.; Коэн, Джереми Э.; Грибонваль, Реми (2018). «Изучение быстрых словарей для разреженных представлений с использованием тензорных разложений низкого ранга» . Анализ скрытых переменных и разделение сигналов (PDF) . Конспекты лекций по информатике. Том. 10891. стр. 456–466. дои : 10.1007/978-3-319-93764-9_42 . ISBN 978-3-319-93763-2 . S2CID 46963798 .
- ^ Ли, Алго; и др. (4 сентября 2010 г.). «Одновременная калибровка мира роботов и глаз-рука с использованием двойных кватернионов и произведения Кронекера» (PDF) . Международный журнал физических наук . 5 (10): 1530–1536. S2CID 7446157 . Архивировано из оригинала (PDF) 9 февраля 2020 года.
- ^ Трейси, DS; Сингх, Р.П. (1972). «Новый матричный продукт и его применение в матричной дифференциации». Статистика Неерландики . 26 (4): 143–157. дои : 10.1111/j.1467-9574.1972.tb00199.x .
- ^ Лю, Шуанчжэ (1999). «Результаты матрицы для произведений Хатри – Рао и Трейси – Сингха» . Линейная алгебра и ее приложения . 289 (1–3): 267–277. дои : 10.1016/S0024-3795(98)10209-4 .
- ^ Лю, Шуанчжэ; Тренклер, Гетц (2008). «Адамар, Хатри-Рао, Кронекер и другие матричные продукты». Международный журнал информационных и системных наук . 4 (1): 160–177.
- ^ Слюсарь, В.И. (1998) [27 декабря 1996 г.]. «Конечные продукты в матрицах радиолокационных приложений» (PDF) . Радиоэлектроника и системы связи . 41 (3): 50–53.
- ^ Перейти обратно: а б Слюсарь, Вадим (1999). «Новые матричные операции для DSP» (самостоятельная лекция). doi : 10.13140/RG.2.2.31620.76164/1 — через ResearchGate .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ Перейти обратно: а б Слюсарь В.И. (13 марта 1998 г.). «Семейство лицевых продуктов матриц и его свойства» (PDF) . Кибернетика и системный анализ ПК Кибернетика и Системный анализ. 1999 . 35 (3): 379–384. дои : 10.1007/BF02733426 . S2CID 119661450 .
- ^ Слюсарь, В.И. (15 сентября 1997 г.). Новые операции с матрицами для применения в радарах (PDF) . Прямые и обратные задачи теории электромагнитных и акустических волн (ДИПЕД-97), Львов. стр. 73–74.
- ^ Але, Томас Дибдал; Кнудсен, Якоб Бэк Тейс (3 сентября 2019 г.). «Почти оптимальный тензорный эскиз». arXiv : 1909.01821 [ cs.DS ].
- ^ Нинь, Фам; Паг, Расмус (2013). Быстрые и масштабируемые полиномиальные ядра с помощью явных карт признаков . Международная конференция SIGKDD по открытию знаний и интеллектуальному анализу данных. Ассоциация вычислительной техники. CiteSeerX 10.1.1.718.2766 . дои : 10.1145/2487575.2487591 .
Ссылки
[ редактировать ]- Хорн, Роджер А .; Джонсон, Чарльз Р. (1991). Темы матричного анализа . Издательство Кембриджского университета. ISBN 978-0-521-46713-1 .
- Джайн, Анил К. (1989). Основы цифровой обработки изображений . Прентис Холл. Бибкод : 1989fdip.book.....J . ISBN 978-0-13-336165-0 .
- Стееб, Вилли-Ханс (1997). Матричное исчисление и произведение Кронекера с приложениями и программами на C++ . Мировое научное издательство. ISBN 978-981-02-3241-2 .
- Стееб, Вилли-Ханс (2006). Проблемы и решения вводного и углубленного матричного исчисления . Мировое научное издательство. ISBN 978-981-256-916-5 .
- Лю, Шуанчжэ; Тренклер, Гетц (2008), «Адамар, Хатри-Рао, Кронекер и другие матричные продукты», Международный журнал информационных и системных наук , 4 : 160–177.
Внешние ссылки
[ редактировать ]- «Тензорное произведение» , Математическая энциклопедия , EMS Press , 2001 [1994]
- «Продукт Кронекера» . ПланетаМатематика .
- «Продукт Кронекера» . Математический мир .
- «Проблемы нового продукта Кронекера» (PDF) .
- «Первоначальное использование» . Запись о матрицах Кронекера, Цефуса или прямом произведении содержит историческую информацию.
- вычислить произведение Кронекера двух матриц . SourceForge (общий исходный код C++ и Fortran 90). 27 июня 2015 г.
- «Продукт Кронекера» . RosettaCode.org . 31 декабря 2020 г. Проверено 13 января 2021 г. Исходный код программного обеспечения на более чем 40 языках.