Разложение по сингулярным значениям высшего порядка
В полилинейной алгебре разложение сингулярных значений высшего порядка ( HOSVD ) тензора представляет собой специфическое ортогональное разложение Такера . Его можно рассматривать как один из типов обобщения матричного сингулярного разложения . Он находит применение в компьютерном зрении , компьютерной графике , машинном обучении , научных вычислениях и обработке сигналов . Некоторые аспекты можно проследить еще у Ф. Л. Хичкока в 1928 г. [1] но именно Л. Р. Такер разработал для тензоров третьего порядка общее разложение Такера в 1960-х годах: [2] [3] [4] далее поддерживается Л. Де Латаувером и др. [5] в своей работе по мультилинейному SVD, в которой используется степенной метод, или в защиту Василеску и Терзопулоса, которые разработали M-режим SVD - параллельный алгоритм, использующий матричный SVD.
Термин «разложение по сингулярным значениям высшего порядка» (HOSVD) был придуман ДеЛатаувером, но алгоритм, обычно называемый в литературе HOSVD и приписываемый Такеру или ДеЛатауверу, был разработан Василеску и Терзопулосом. [6] [7] [8] надежные варианты HOSVD и варианты HOSVD, основанные на норме L1 . Также были предложены [9] [10] [11] [12]
Определение
[ редактировать ]Для целей этой статьи абстрактный тензор предполагается, что он задан в координатах относительно некоторого базиса в виде массива M , также обозначаемого , где M — число мод и порядок тензора. это комплексные числа, и оно включает в себя как действительные числа и чисто мнимые числа.
Позволять обозначаем стандартную моду m уплощение - , так что левый индекс соответствует 'й индекс и правый индекс соответствует всем остальным индексам комбинированный. Позволять — унитарная матрица, содержащая базис левых сингулярных векторов такой, что j- й столбец из соответствует j -му наибольшему сингулярному значению . Обратите внимание, что матрица мод/факторов не зависит от конкретного определения режима m уплощения. По свойствам полилинейного умножения имеем где обозначает сопряженное транспонирование . Второе равенство состоит в том, что являются унитарными матрицами. Определим теперь основной тензор Тогда ХОСВД [5] из это разложение Приведенная выше конструкция показывает, что каждый тензор имеет HOSVD.
Компактный ХОСВД
[ редактировать ]Как и в случае по сингулярным значениям компактного разложения матрицы , где отбрасываются строки и столбцы, соответствующие исчезающим сингулярным значениям, также можно рассмотреть компактный HOSVD , что очень полезно в приложениях.
Предположим, что — матрица с унитарными столбцами, содержащая базис из левых сингулярных векторов, соответствующих ненулевым сингулярным значениям стандартного фактора — m уплощение из . Пусть столбцы быть отсортировано так, чтобы й столбец из соответствует самое большое ненулевое единственное значение . Поскольку столбцы составляют основу образа , у нас есть где первое равенство обусловлено свойствами ортогональных проекций (в эрмитовом скалярном произведении), а последнее равенство обусловлено свойствами полилинейного умножения. Поскольку уплощения являются биективными отображениями, и приведенная выше формула справедлива для всех , мы находим, как и раньше, что где основной тензор теперь имеет размер .
Мультилинейный ранг
[ редактировать ]Полилинейный ранг [1] из обозначается рангом- . Полилинейный ранг представляет собой кортеж в где . Не все кортежи в являются полилинейными рангами. [13] Полилинейные ранги ограничены и это удовлетворяет ограничению должен держаться. [13]
Компактный HOSVD представляет собой разложение, раскрывающее ранг, в том смысле, что размеры его основного тензора соответствуют компонентам полилинейного ранга тензора.
Интерпретация
[ редактировать ]Следующая геометрическая интерпретация справедлива как для полного, так и для компактного ХОСВД. Позволять — полилинейный ранг тензора . С это многомерный массив, мы можем расширить его следующим образом где это стандартный базисный вектор . По определению полилинейного умножения верно, что где это столбцы . Легко убедиться в том, что — ортонормированный набор тензоров. Это означает, что HOSVD можно интерпретировать как способ выражения тензора относительно специально выбранного ортонормированного базиса с коэффициентами, заданными в виде многомерного массива .
Вычисление
[ редактировать ]Позволять быть тензором ранга- , где содержит реальные данные как подмножество.
Классические вычисления
[ редактировать ]Стратегия расчета мультилинейного SVD и M-mode SVD была представлена в 1960-х годах Л. Р. Такером , [3] далее поддерживается Л. Де Латаувером и др. , [5] и Василеску и Терзопулус. [8] [6] Термин HOSVD был придуман Ливеном Де Латаувером, но алгоритм, обычно называемый в литературе HOSVD, был введен Василеску и Терзопулосом. [6] [8] с названием М-режим СВД. Это параллельные вычисления, в которых используется матрица SVD для вычисления матриц ортонормированных режимов.
М-режим СВД
[ редактировать ]- Для , сделайте следующее:
- Постройте модемное сглаживание ;
- Вычислите (компактное) разложение по сингулярным значениям и сохраните левые сингулярные векторы ;
- Вычислить основной тензор с помощью полилинейного умножения
Чересстрочные вычисления
[ редактировать ]Стратегия, которая работает значительно быстрее, когда некоторые или все состоит из переплетения вычислений основного тензора и факторных матриц следующим образом: [14] [15] [16]
- Набор ;
- Для выполните следующее:
- Постройте стандартную моду- m сглаживание ;
- Вычислите (компактное) разложение по сингулярным значениям и сохраните левые сингулярные векторы ;
- Набор или, что то же самое, .
Вычисление на месте
[ редактировать ]HOSVD можно вычислить на месте с помощью последовательного усеченного разложения сингулярных значений высшего порядка с объединением на месте (FIST-HOSVD). [16] алгоритм путем перезаписи исходного тензора базовым тензором HOSVD, что значительно снижает потребление памяти при вычислении HOSVD.
Приближение
[ редактировать ]В приложениях, подобных упомянутым ниже, общая проблема состоит в аппроксимации заданного тензора на единицу с пониженным полилинейным рангом. Формально, если полилинейный ранг обозначается , затем вычисление оптимального что приближает за данное пониженное является нелинейным невыпуклым -проблема с оптимизацией где – приведенный полилинейный ранг с , и норма является нормой Фробениуса .
Простая идея решения этой проблемы оптимизации состоит в том, чтобы усечь (компактный) SVD на шаге 2 классического или чересстрочного вычисления. получается Классически усеченное HOSVD путем замены шага 2 классического вычисления на
- Вычислить ранг- усеченная СВД и сохраните верхнюю часть левые сингулярные векторы ;
в то время как последовательно усеченный HOSVD (или последовательно усеченный HOSVD ) получается путем замены шага 2 в чересстрочном вычислении на
- Вычислить ранг- усеченная СВД и сохраните верхнюю часть левые сингулярные векторы . К сожалению, усечение не приводит к оптимальному решению задачи оптимизации с низким полилинейным рангом. [5] [6] [14] [16] Однако как классический, так и усеченный HOSVD с чередованием приводят к квазиоптимальному решению: [14] [16] [15] [17] если обозначает классически или последовательно усеченный HOSVD и обозначает оптимальное решение задачи наилучшей аппроксимации низкого полилинейного ранга, тогда на практике это означает, что если существует оптимальное решение с небольшой ошибкой, то усеченный HOSVD для многих намеченных целей также даст достаточно хорошее решение.
Приложения
[ редактировать ]HOSVD чаще всего применяется для извлечения соответствующей информации из многосторонних массивов.
Начиная с начала 2000-х годов Василеску обратился к причинно-следственным вопросам, переформулировав проблемы анализа, распознавания и синтеза данных как задачи полилинейного тензора. Возможности тензорной структуры были продемонстрированы путем разложения и представления изображения с точки зрения причинных факторов формирования данных в контексте сигнатур движения человека для распознавания походки. [18] распознавание лиц — TensorFaces [19] [20] и компьютерная графика — TensorTextures. [21]
HOSVD успешно применяется для обработки сигналов и больших данных, например, при обработке геномных сигналов. [22] [23] [24] Эти приложения также вдохновили на создание GSVD более высокого порядка (HO GSVD). [25] и тензорный ГСВД. [26]
Комбинация HOSVD и SVD также применялась для обнаружения событий в реальном времени из сложных потоков данных (многомерные данные с пространственными и временными измерениями) при эпиднадзоре за заболеваниями . [27]
Он также используется при проектировании контроллера на основе преобразования тензорной модели произведения . [28] [29]
Концепция HOSVD была перенесена в функции Бараньи и Ямом посредством трансформации модели TP . [28] [29] Это расширение привело к определению канонической формы тензорных функций произведения на основе HOSVD и системных моделей с линейными параметрами. [30] а о теории оптимизации управления, основанной на манипуляциях с выпуклой оболочкой, см. « Преобразование модели TP в теориях управления» .
HOSVD было предложено применить для многоракурсного анализа данных. [31] и был успешно применен для открытия лекарств in silico на основе экспрессии генов. [32]
Прочный вариант L1-нормы
[ редактировать ]L1-Такер — это норме L1 , основанный на устойчивый вариант разложения Такера . [10] [11] L1-HOSVD является аналогом HOSVD для решения L1-Tucker. [10] [12]
Ссылки
[ редактировать ]- ^ Jump up to: а б Хичкок, Фрэнк Л. (1 апреля 1928 г.). «Множественные инварианты и обобщенный ранг M-образного массива или тензора». Журнал математики и физики . 7 (1–4): 39–79. дои : 10.1002/sapm19287139 . ISSN 1467-9590 .
- ^ Такер, Ледьярд Р. (1 сентября 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. дои : 10.1007/bf02289464 . ISSN 0033-3123 . ПМИД 5221127 . S2CID 44301099 .
- ^ Jump up to: а б Такер, Л.Р. (1963). «Последствия факторного анализа трехфакторных матриц для измерения изменений». В CW Харрис (ред.), Проблемы измерения изменений. Мэдисон, Висконсин: Univ. Висконсин Пресс. : 122–137.
- ^ Такер, Л.Р. (1964). «Распространение факторного анализа на трехмерные матрицы». В Н. Фредериксене и Х. Гулликсене (ред.), «Вклад в математическую психологию». Нью-Йорк: Холт, Райнхарт и Уинстон : 109–127.
- ^ Jump up to: а б с д Де Латаувер, Л.; Де Мур, Б.; Вандевалле, Дж. (1 января 2000 г.). «Мультилинейное разложение по сингулярным значениям». Журнал SIAM по матричному анализу и его приложениям . 21 (4): 1253–1278. CiteSeerX 10.1.1.102.9135 . дои : 10.1137/s0895479896305696 . ISSN 0895-4798 .
- ^ Jump up to: а б с д и МАО Василеску, Д. Терзопулос (2002) с названием М-режим СВД. SVD в М-режиме подходит для параллельных вычислений и использует матричный SVD «Мультилинейный анализ ансамблей изображений: TensorFaces» , Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г.
- ^ МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г.»
- ^ Jump up to: а б с д МАО Василеску, Д. Терзопулос (2005) «Мультилинейный независимый анализ компонентов» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., том 1, 547–553. "
- ^ Годфарб, Дональд; Живэй, Цинь (2014). «Надежное восстановление тензоров низкого ранга: модели и алгоритмы». Журнал SIAM по матричному анализу и его приложениям . 35 (1): 225–253. arXiv : 1311.6182 . дои : 10.1137/130905010 . S2CID 1051205 .
- ^ Jump up to: а б с Чачлакис, Димитрис Г.; Пратер-Беннетт, Эшли; Маркопулос, Панос П. (22 ноября 2019 г.). «Разложение тензора Такера по норме L1» . Доступ IEEE . 7 : 178454–178465. arXiv : 1904.06455 . дои : 10.1109/ACCESS.2019.2955134 .
- ^ Jump up to: а б Маркопулос, Панос П.; Чачлакис, Димитрис Г.; Папалексакис, Евангелос (апрель 2018 г.). «Точное решение разложения TUCKER2 по L1-норме ранга 1». Письма об обработке сигналов IEEE . 25 (4): 511–515. arXiv : 1710.11306 . Бибкод : 2018ISPL...25..511M . дои : 10.1109/ЛСП.2018.2790901 . S2CID 3693326 .
- ^ Jump up to: а б Маркопулос, Панос П.; Чачлакис, Димитрис Г.; Пратер-Беннетт, Эшли (21 февраля 2019 г.). «Разложение по сингулярным значениям высшего порядка L1-нормы». Глобальная конференция IEEE по обработке сигналов и информации (GlobalSIP) 2018 года . стр. 1353–1357. дои : 10.1109/GlobalSIP.2018.8646385 . ISBN 978-1-7281-1295-4 . S2CID 67874182 .
- ^ Jump up to: а б Карлини, Энрико; Клеппе, Йоханнес (2011). «Ранги, полученные на основе многолинейных карт» . Журнал чистой и прикладной алгебры . 215 (8): 1999–2004. дои : 10.1016/j.jpaa.2010.11.010 .
- ^ Jump up to: а б с Ванниеувенховен, Н.; Вандебрил, Р.; Меерберген, К. (1 января 2012 г.). «Новая стратегия усечения для разложения по сингулярным значениям высшего порядка» . SIAM Журнал по научным вычислениям . 34 (2): А1027–А1052. Бибкод : 2012ГАК...34А1027В . дои : 10.1137/110836067 . ISSN 1064-8275 . S2CID 15318433 .
- ^ Jump up to: а б Хакбуш, Вольфганг (2012). Тензорные пространства и численное тензорное исчисление | СпрингерЛинк . Ряд Спрингера по вычислительной математике. Том. 42. дои : 10.1007/978-3-642-28027-6 . ISBN 978-3-642-28026-9 . S2CID 117253621 .
- ^ Jump up to: а б с д Кобб, Бенджамин; Колла, Хемант; Фиппс, Эрик; Чаталюрек, Юмит В. (2022). FIST-HOSVD: объединенное на месте последовательно усеченное разложение сингулярных значений высшего порядка . Платформа передовых научных вычислений (PASC). дои : 10.1145/3539781.3539798 . ISBN 9781450394109 .
- ^ Граседик, Л. (1 января 2010 г.). «Иерархическое разложение тензоров по сингулярным значениям». Журнал SIAM по матричному анализу и его приложениям . 31 (4): 2029–2054. CiteSeerX 10.1.1.660.8333 . дои : 10.1137/090764189 . ISSN 0895-4798 .
- ^ МАО Василеску (2002) «Сигнатуры движения человека: анализ, синтез, распознавание», Материалы Международной конференции по распознаванию образов (ICPR 2002), Vol. 3, Квебек, Канада, август 2002 г., стр. 456–460.
- ^ МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений», МАО Василеску, Д. Терзопулос, Proc. Конференция по компьютерному зрению и распознаванию образов (CVPR '03), Том 2, Мэдисон, Висконсин, июнь, 2003, 93–99.
- ^ МАО Василеску, Д. Терзопулос (2002) «Мультилинейный анализ ансамблей изображений: TensorFaces», Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г., по компьютерному зрению - ECCV 2002, Конспекты лекций по информатике, Vol. 2350, А. Хейден и др. (Ред.), Springer-Verlag, Берлин, 2002, 447–460.
- ^ МАО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: многолинейный рендеринг на основе изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004, Лос-Анджелес, Калифорния, август 2004 г., в журнале Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
- ^ Л. Омберг; Голубь Г.Х.; О. Альтер (ноябрь 2007 г.). «Тензорное разложение по сингулярным значениям высшего порядка для интегративного анализа данных ДНК-микрочипов из различных исследований» . ПНАС . 104 (47): 18371–18376. Бибкод : 2007PNAS..10418371O . дои : 10.1073/pnas.0709146104 . ПМК 2147680 . ПМИД 18003902 .
- ^ Л. Омберг; Дж. Р. Мейерсон; К. Кобаяши; Л. С. Друри; JFX Диффли; О. Альтер (октябрь 2009 г.). «Глобальное влияние репликации ДНК и активности источника репликации ДНК на экспрессию генов эукариот» . Молекулярная системная биология . 5 : 312. дои : 10.1038/msb.2009.70 . ПМК 2779084 . ПМИД 19888207 . Выделять .
- ^ К. Муралидхара; А. М. Гросс; Р.Р. Гутель; О. Альтер (апрель 2011 г.). «Тензорное разложение выявляет одновременные эволюционные конвергенции и расхождения, а также корреляции со структурными мотивами в рибосомальной РНК» . ПЛОС ОДИН . 6 (4): e18768. Бибкод : 2011PLoSO...618768M . дои : 10.1371/journal.pone.0018768 . ПМК 3094155 . ПМИД 21625625 . Выделять .
- ^ СП Поннапалли; М. А. Сондерс; CF Ван Лоан; О. Альтер (декабрь 2011 г.). «Обобщенное разложение по сингулярным значениям высшего порядка для сравнения глобальной экспрессии мРНК из нескольких организмов» . ПЛОС ОДИН . 6 (12): e28072. Бибкод : 2011PLoSO...628072P . дои : 10.1371/journal.pone.0028072 . ПМЦ 3245232 . ПМИД 22216090 . Выделять .
- ^ П. Шанкаранараянан; Т.Е. Шомай; КА Айелло; О. Альтер (апрель 2015 г.). «Тензорная БСВД профилей числа копий опухоли и нормальной ДНК, совпадающих с пациентом и платформой, раскрывает хромосомные паттерны эксклюзивных для опухоли платформо-согласованных изменений, кодирующих трансформацию клеток и прогнозирующих выживаемость при раке яичников» . ПЛОС ОДИН . 10 (4): e0121396. Бибкод : 2015PLoSO..1021396S . дои : 10.1371/journal.pone.0121396 . ПМЦ 4398562 . ПМИД 25875127 . АААС EurekAlert! Пресс-релиз и подкаст NAE .
- ^ Хади Фанаи-Т; Жоау Гама (май 2015 г.). «EigenEvent: алгоритм обнаружения событий из сложных потоков данных в синдромном наблюдении». Интеллектуальный анализ данных . 19 (3): 597–616. arXiv : 1406.3496 . Бибкод : 2014arXiv1406.3496F . дои : 10.3233/IDA-150734 . S2CID 17966555 .
- ^ Jump up to: а б П. Бараньи (апрель 2004 г.). «Трансформация модели TP как способ проектирования контроллера на основе LMI». Транзакции IEEE по промышленной электронике . 51 (2): 387–400. дои : 10.1109/tie.2003.822037 . S2CID 7957799 .
- ^ Jump up to: а б П. Бараньи; Д. Тикк; Ю. Ям; Р. Дж. Паттон (2003). «От дифференциальных уравнений к проектированию контроллера PDC посредством численного преобразования». Компьютеры в промышленности . 51 (3): 281–297. дои : 10.1016/s0166-3615(03)00058-7 .
- ^ П. Бараньи; Л. Зейдль; П. Варлаки; Ю. Ям (3–5 июля 2006 г.). Определение канонической формы политопных динамических моделей на основе HOSVD . 3-я Международная конференция по мехатронике (ICM 2006). Будапешт, Венгрия. стр. 660–665.
- ^ Да. Тагучи (август 2017 г.). «Неконтролируемое извлечение признаков на основе тензорной декомпозиции, применяемое к матричным продуктам для многопредставленной обработки данных» . ПЛОС ОДИН . 12 (8): e0183933. Бибкод : 2017PLoSO..1283933T . дои : 10.1371/journal.pone.0183933 . ПМК 5571984 . ПМИД 28841719 .
- ^ Да. Тагучи (октябрь 2017 г.). «Идентификация лекарств-кандидатов с использованием неконтролируемого извлечения признаков на основе тензорного разложения в комплексном анализе экспрессии генов между заболеваниями и наборами данных DrugMatrix» . Научные отчеты . 7 (1): 13733. Бибкод : 2017НатСР...713733Т . дои : 10.1038/s41598-017-13003-0 . ПМЦ 5653784 . ПМИД 29062063 .