Jump to content

Разложение по сингулярным значениям высшего порядка

В полилинейной алгебре разложение сингулярных значений высшего порядка ( HOSVD ) тензора представляет собой специфическое ортогональное разложение Такера . Его можно рассматривать как один из типов обобщения матричного сингулярного разложения . Он находит применение в компьютерном зрении , компьютерной графике , машинном обучении , научных вычислениях и обработке сигналов . Некоторые аспекты можно проследить еще у Ф. Л. Хичкока в 1928 г. [1] но именно Л. Р. Такер разработал для тензоров третьего порядка общее разложение Такера в 1960-х годах: [2] [3] [4] далее поддерживается Л. Де Латаувером и др. [5] в своей работе по мультилинейному SVD, в которой используется степенной метод, или в защиту Василеску и Терзопулоса, которые разработали M-режим SVD - параллельный алгоритм, использующий матричный SVD.

Термин «разложение по сингулярным значениям высшего порядка» (HOSVD) был придуман ДеЛатаувером, но алгоритм, обычно называемый в литературе HOSVD и приписываемый Такеру или ДеЛатауверу, был разработан Василеску и Терзопулосом. [6] [7] [8] надежные варианты HOSVD и варианты HOSVD, основанные на норме L1 . Также были предложены [9] [10] [11] [12]

Определение

[ редактировать ]

Для целей этой статьи абстрактный тензор предполагается, что он задан в координатах относительно некоторого базиса в виде массива M , также обозначаемого , где M — число мод и порядок тензора. это комплексные числа, и оно включает в себя как действительные числа и чисто мнимые числа.

Позволять обозначаем стандартную моду m уплощение - , так что левый индекс соответствует 'й индекс и правый индекс соответствует всем остальным индексам комбинированный. Позволять унитарная матрица, содержащая базис левых сингулярных векторов такой, что j- й столбец из соответствует j -му наибольшему сингулярному значению . Обратите внимание, что матрица мод/факторов не зависит от конкретного определения режима m уплощения. По свойствам полилинейного умножения имеем где обозначает сопряженное транспонирование . Второе равенство состоит в том, что являются унитарными матрицами. Определим теперь основной тензор Тогда ХОСВД [5] из это разложение Приведенная выше конструкция показывает, что каждый тензор имеет HOSVD.

Компактный ХОСВД

[ редактировать ]

Как и в случае по сингулярным значениям компактного разложения матрицы , где отбрасываются строки и столбцы, соответствующие исчезающим сингулярным значениям, также можно рассмотреть компактный HOSVD , что очень полезно в приложениях.

Предположим, что — матрица с унитарными столбцами, содержащая базис из левых сингулярных векторов, соответствующих ненулевым сингулярным значениям стандартного фактора — m уплощение из . Пусть столбцы быть отсортировано так, чтобы й столбец из соответствует самое большое ненулевое единственное значение . Поскольку столбцы составляют основу образа , у нас есть где первое равенство обусловлено свойствами ортогональных проекций (в эрмитовом скалярном произведении), а последнее равенство обусловлено свойствами полилинейного умножения. Поскольку уплощения являются биективными отображениями, и приведенная выше формула справедлива для всех , мы находим, как и раньше, что где основной тензор теперь имеет размер .

Мультилинейный ранг

[ редактировать ]

Полилинейный ранг [1] из обозначается рангом- . Полилинейный ранг представляет собой кортеж в где . Не все кортежи в являются полилинейными рангами. [13] Полилинейные ранги ограничены и это удовлетворяет ограничению должен держаться. [13]

Компактный HOSVD представляет собой разложение, раскрывающее ранг, в том смысле, что размеры его основного тензора соответствуют компонентам полилинейного ранга тензора.

Интерпретация

[ редактировать ]

Следующая геометрическая интерпретация справедлива как для полного, так и для компактного ХОСВД. Позволять — полилинейный ранг тензора . С это многомерный массив, мы можем расширить его следующим образом где это стандартный базисный вектор . По определению полилинейного умножения верно, что где это столбцы . Легко убедиться в том, что — ортонормированный набор тензоров. Это означает, что HOSVD можно интерпретировать как способ выражения тензора относительно специально выбранного ортонормированного базиса с коэффициентами, заданными в виде многомерного массива .

Вычисление

[ редактировать ]

Позволять быть тензором ранга- , где содержит реальные данные как подмножество.

Классические вычисления

[ редактировать ]

Стратегия расчета мультилинейного SVD и M-mode SVD была представлена ​​в 1960-х годах Л. Р. Такером , [3] далее поддерживается Л. Де Латаувером и др. , [5] и Василеску и Терзопулус. [8] [6] Термин HOSVD был придуман Ливеном Де Латаувером, но алгоритм, обычно называемый в литературе HOSVD, был введен Василеску и Терзопулосом. [6] [8] с названием М-режим СВД. Это параллельные вычисления, в которых используется матрица SVD для вычисления матриц ортонормированных режимов.

М-режим СВД

[ редактировать ]

Источники: [6] [8]

  • Для , сделайте следующее:
  1. Постройте модемное сглаживание ;
  2. Вычислите (компактное) разложение по сингулярным значениям и сохраните левые сингулярные векторы ;
  • Вычислить основной тензор с помощью полилинейного умножения

Чересстрочные вычисления

[ редактировать ]

Стратегия, которая работает значительно быстрее, когда некоторые или все состоит из переплетения вычислений основного тензора и факторных матриц следующим образом: [14] [15] [16]

  • Набор ;
  • Для выполните следующее:
    1. Постройте стандартную моду- m сглаживание ;
    2. Вычислите (компактное) разложение по сингулярным значениям и сохраните левые сингулярные векторы ;
    3. Набор или, что то же самое, .

Вычисление на месте

[ редактировать ]

HOSVD можно вычислить на месте с помощью последовательного усеченного разложения сингулярных значений высшего порядка с объединением на месте (FIST-HOSVD). [16] алгоритм путем перезаписи исходного тензора базовым тензором HOSVD, что значительно снижает потребление памяти при вычислении HOSVD.

Приближение

[ редактировать ]

В приложениях, подобных упомянутым ниже, общая проблема состоит в аппроксимации заданного тензора на единицу с пониженным полилинейным рангом. Формально, если полилинейный ранг обозначается , затем вычисление оптимального что приближает за данное пониженное является нелинейным невыпуклым -проблема с оптимизацией где – приведенный полилинейный ранг с , и норма является нормой Фробениуса .

Простая идея решения этой проблемы оптимизации состоит в том, чтобы усечь (компактный) SVD на шаге 2 классического или чересстрочного вычисления. получается Классически усеченное HOSVD путем замены шага 2 классического вычисления на

  • Вычислить ранг- усеченная СВД и сохраните верхнюю часть левые сингулярные векторы ;

в то время как последовательно усеченный HOSVD (или последовательно усеченный HOSVD ) получается путем замены шага 2 в чересстрочном вычислении на

  • Вычислить ранг- усеченная СВД и сохраните верхнюю часть левые сингулярные векторы . К сожалению, усечение не приводит к оптимальному решению задачи оптимизации с низким полилинейным рангом. [5] [6] [14] [16] Однако как классический, так и усеченный HOSVD с чередованием приводят к квазиоптимальному решению: [14] [16] [15] [17] если обозначает классически или последовательно усеченный HOSVD и обозначает оптимальное решение задачи наилучшей аппроксимации низкого полилинейного ранга, тогда на практике это означает, что если существует оптимальное решение с небольшой ошибкой, то усеченный HOSVD для многих намеченных целей также даст достаточно хорошее решение.

Приложения

[ редактировать ]

HOSVD чаще всего применяется для извлечения соответствующей информации из многосторонних массивов.

Начиная с начала 2000-х годов Василеску обратился к причинно-следственным вопросам, переформулировав проблемы анализа, распознавания и синтеза данных как задачи полилинейного тензора. Возможности тензорной структуры были продемонстрированы путем разложения и представления изображения с точки зрения причинных факторов формирования данных в контексте сигнатур движения человека для распознавания походки. [18] распознавание лиц — TensorFaces [19] [20] и компьютерная графика — TensorTextures. [21]

HOSVD успешно применяется для обработки сигналов и больших данных, например, при обработке геномных сигналов. [22] [23] [24] Эти приложения также вдохновили на создание GSVD более высокого порядка (HO GSVD). [25] и тензорный ГСВД. [26]

Комбинация HOSVD и SVD также применялась для обнаружения событий в реальном времени из сложных потоков данных (многомерные данные с пространственными и временными измерениями) при эпиднадзоре за заболеваниями . [27]

Он также используется при проектировании контроллера на основе преобразования тензорной модели произведения . [28] [29]

Концепция HOSVD была перенесена в функции Бараньи и Ямом посредством трансформации модели TP . [28] [29] Это расширение привело к определению канонической формы тензорных функций произведения на основе HOSVD и системных моделей с линейными параметрами. [30] а о теории оптимизации управления, основанной на манипуляциях с выпуклой оболочкой, см. « Преобразование модели TP в теориях управления» .

HOSVD было предложено применить для многоракурсного анализа данных. [31] и был успешно применен для открытия лекарств in silico на основе экспрессии генов. [32]

Прочный вариант L1-нормы

[ редактировать ]

L1-Такер — это норме L1 , основанный на устойчивый вариант разложения Такера . [10] [11] L1-HOSVD является аналогом HOSVD для решения L1-Tucker. [10] [12]

  1. ^ Jump up to: а б Хичкок, Фрэнк Л. (1 апреля 1928 г.). «Множественные инварианты и обобщенный ранг M-образного массива или тензора». Журнал математики и физики . 7 (1–4): 39–79. дои : 10.1002/sapm19287139 . ISSN   1467-9590 .
  2. ^ Такер, Ледьярд Р. (1 сентября 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. дои : 10.1007/bf02289464 . ISSN   0033-3123 . ПМИД   5221127 . S2CID   44301099 .
  3. ^ Jump up to: а б Такер, Л.Р. (1963). «Последствия факторного анализа трехфакторных матриц для измерения изменений». В CW Харрис (ред.), Проблемы измерения изменений. Мэдисон, Висконсин: Univ. Висконсин Пресс. : 122–137.
  4. ^ Такер, Л.Р. (1964). «Распространение факторного анализа на трехмерные матрицы». В Н. Фредериксене и Х. Гулликсене (ред.), «Вклад в математическую психологию». Нью-Йорк: Холт, Райнхарт и Уинстон : 109–127.
  5. ^ Jump up to: а б с д Де Латаувер, Л.; Де Мур, Б.; Вандевалле, Дж. (1 января 2000 г.). «Мультилинейное разложение по сингулярным значениям». Журнал SIAM по матричному анализу и его приложениям . 21 (4): 1253–1278. CiteSeerX   10.1.1.102.9135 . дои : 10.1137/s0895479896305696 . ISSN   0895-4798 .
  6. ^ Jump up to: а б с д и МАО Василеску, Д. Терзопулос (2002) с названием М-режим СВД. SVD в М-режиме подходит для параллельных вычислений и использует матричный SVD «Мультилинейный анализ ансамблей изображений: TensorFaces» , Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г.
  7. ^ МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г.»
  8. ^ Jump up to: а б с д МАО Василеску, Д. Терзопулос (2005) «Мультилинейный независимый анализ компонентов» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., том 1, 547–553. "
  9. ^ Годфарб, Дональд; Живэй, Цинь (2014). «Надежное восстановление тензоров низкого ранга: модели и алгоритмы». Журнал SIAM по матричному анализу и его приложениям . 35 (1): 225–253. arXiv : 1311.6182 . дои : 10.1137/130905010 . S2CID   1051205 .
  10. ^ Jump up to: а б с Чачлакис, Димитрис Г.; Пратер-Беннетт, Эшли; Маркопулос, Панос П. (22 ноября 2019 г.). «Разложение тензора Такера по норме L1» . Доступ IEEE . 7 : 178454–178465. arXiv : 1904.06455 . дои : 10.1109/ACCESS.2019.2955134 .
  11. ^ Jump up to: а б Маркопулос, Панос П.; Чачлакис, Димитрис Г.; Папалексакис, Евангелос (апрель 2018 г.). «Точное решение разложения TUCKER2 по L1-норме ранга 1». Письма об обработке сигналов IEEE . 25 (4): 511–515. arXiv : 1710.11306 . Бибкод : 2018ISPL...25..511M . дои : 10.1109/ЛСП.2018.2790901 . S2CID   3693326 .
  12. ^ Jump up to: а б Маркопулос, Панос П.; Чачлакис, Димитрис Г.; Пратер-Беннетт, Эшли (21 февраля 2019 г.). «Разложение по сингулярным значениям высшего порядка L1-нормы». Глобальная конференция IEEE по обработке сигналов и информации (GlobalSIP) 2018 года . стр. 1353–1357. дои : 10.1109/GlobalSIP.2018.8646385 . ISBN  978-1-7281-1295-4 . S2CID   67874182 .
  13. ^ Jump up to: а б Карлини, Энрико; Клеппе, Йоханнес (2011). «Ранги, полученные на основе многолинейных карт» . Журнал чистой и прикладной алгебры . 215 (8): 1999–2004. дои : 10.1016/j.jpaa.2010.11.010 .
  14. ^ Jump up to: а б с Ванниеувенховен, Н.; Вандебрил, Р.; Меерберген, К. (1 января 2012 г.). «Новая стратегия усечения для разложения по сингулярным значениям высшего порядка» . SIAM Журнал по научным вычислениям . 34 (2): А1027–А1052. Бибкод : 2012ГАК...34А1027В . дои : 10.1137/110836067 . ISSN   1064-8275 . S2CID   15318433 .
  15. ^ Jump up to: а б Хакбуш, Вольфганг (2012). Тензорные пространства и численное тензорное исчисление | СпрингерЛинк . Ряд Спрингера по вычислительной математике. Том. 42. дои : 10.1007/978-3-642-28027-6 . ISBN  978-3-642-28026-9 . S2CID   117253621 .
  16. ^ Jump up to: а б с д Кобб, Бенджамин; Колла, Хемант; Фиппс, Эрик; Чаталюрек, Юмит В. (2022). FIST-HOSVD: объединенное на месте последовательно усеченное разложение сингулярных значений высшего порядка . Платформа передовых научных вычислений (PASC). дои : 10.1145/3539781.3539798 . ISBN  9781450394109 .
  17. ^ Граседик, Л. (1 января 2010 г.). «Иерархическое разложение тензоров по сингулярным значениям». Журнал SIAM по матричному анализу и его приложениям . 31 (4): 2029–2054. CiteSeerX   10.1.1.660.8333 . дои : 10.1137/090764189 . ISSN   0895-4798 .
  18. ^ МАО Василеску (2002) «Сигнатуры движения человека: анализ, синтез, распознавание», Материалы Международной конференции по распознаванию образов (ICPR 2002), Vol. 3, Квебек, Канада, август 2002 г., стр. 456–460.
  19. ^ МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений», МАО Василеску, Д. Терзопулос, Proc. Конференция по компьютерному зрению и распознаванию образов (CVPR '03), Том 2, Мэдисон, Висконсин, июнь, 2003, 93–99.
  20. ^ МАО Василеску, Д. Терзопулос (2002) «Мультилинейный анализ ансамблей изображений: TensorFaces», Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г., по компьютерному зрению - ECCV 2002, Конспекты лекций по информатике, Vol. 2350, А. Хейден и др. (Ред.), Springer-Verlag, Берлин, 2002, 447–460.
  21. ^ МАО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: многолинейный рендеринг на основе изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004, Лос-Анджелес, Калифорния, август 2004 г., в журнале Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
  22. ^ Л. Омберг; Голубь Г.Х.; О. Альтер (ноябрь 2007 г.). «Тензорное разложение по сингулярным значениям высшего порядка для интегративного анализа данных ДНК-микрочипов из различных исследований» . ПНАС . 104 (47): 18371–18376. Бибкод : 2007PNAS..10418371O . дои : 10.1073/pnas.0709146104 . ПМК   2147680 . ПМИД   18003902 .
  23. ^ Л. Омберг; Дж. Р. Мейерсон; К. Кобаяши; Л. С. Друри; JFX Диффли; О. Альтер (октябрь 2009 г.). «Глобальное влияние репликации ДНК и активности источника репликации ДНК на экспрессию генов эукариот» . Молекулярная системная биология . 5 : 312. дои : 10.1038/msb.2009.70 . ПМК   2779084 . ПМИД   19888207 . Выделять .
  24. ^ К. Муралидхара; А. М. Гросс; Р.Р. Гутель; О. Альтер (апрель 2011 г.). «Тензорное разложение выявляет одновременные эволюционные конвергенции и расхождения, а также корреляции со структурными мотивами в рибосомальной РНК» . ПЛОС ОДИН . 6 (4): e18768. Бибкод : 2011PLoSO...618768M . дои : 10.1371/journal.pone.0018768 . ПМК   3094155 . ПМИД   21625625 . Выделять .
  25. ^ СП Поннапалли; М. А. Сондерс; CF Ван Лоан; О. Альтер (декабрь 2011 г.). «Обобщенное разложение по сингулярным значениям высшего порядка для сравнения глобальной экспрессии мРНК из нескольких организмов» . ПЛОС ОДИН . 6 (12): e28072. Бибкод : 2011PLoSO...628072P . дои : 10.1371/journal.pone.0028072 . ПМЦ   3245232 . ПМИД   22216090 . Выделять .
  26. ^ П. Шанкаранараянан; Т.Е. Шомай; КА Айелло; О. Альтер (апрель 2015 г.). «Тензорная БСВД профилей числа копий опухоли и нормальной ДНК, совпадающих с пациентом и платформой, раскрывает хромосомные паттерны эксклюзивных для опухоли платформо-согласованных изменений, кодирующих трансформацию клеток и прогнозирующих выживаемость при раке яичников» . ПЛОС ОДИН . 10 (4): e0121396. Бибкод : 2015PLoSO..1021396S . дои : 10.1371/journal.pone.0121396 . ПМЦ   4398562 . ПМИД   25875127 . АААС EurekAlert! Пресс-релиз и подкаст NAE .
  27. ^ Хади Фанаи-Т; Жоау Гама (май 2015 г.). «EigenEvent: алгоритм обнаружения событий из сложных потоков данных в синдромном наблюдении». Интеллектуальный анализ данных . 19 (3): 597–616. arXiv : 1406.3496 . Бибкод : 2014arXiv1406.3496F . дои : 10.3233/IDA-150734 . S2CID   17966555 .
  28. ^ Jump up to: а б П. Бараньи (апрель 2004 г.). «Трансформация модели TP как способ проектирования контроллера на основе LMI». Транзакции IEEE по промышленной электронике . 51 (2): 387–400. дои : 10.1109/tie.2003.822037 . S2CID   7957799 .
  29. ^ Jump up to: а б П. Бараньи; Д. Тикк; Ю. Ям; Р. Дж. Паттон (2003). «От дифференциальных уравнений к проектированию контроллера PDC посредством численного преобразования». Компьютеры в промышленности . 51 (3): 281–297. дои : 10.1016/s0166-3615(03)00058-7 .
  30. ^ П. Бараньи; Л. Зейдль; П. Варлаки; Ю. Ям (3–5 июля 2006 г.). Определение канонической формы политопных динамических моделей на основе HOSVD . 3-я Международная конференция по мехатронике (ICM 2006). Будапешт, Венгрия. стр. 660–665.
  31. ^ Да. Тагучи (август 2017 г.). «Неконтролируемое извлечение признаков на основе тензорной декомпозиции, применяемое к матричным продуктам для многопредставленной обработки данных» . ПЛОС ОДИН . 12 (8): e0183933. Бибкод : 2017PLoSO..1283933T . дои : 10.1371/journal.pone.0183933 . ПМК   5571984 . ПМИД   28841719 .
  32. ^ Да. Тагучи (октябрь 2017 г.). «Идентификация лекарств-кандидатов с использованием неконтролируемого извлечения признаков на основе тензорного разложения в комплексном анализе экспрессии генов между заболеваниями и наборами данных DrugMatrix» . Научные отчеты . 7 (1): 13733. Бибкод : 2017НатСР...713733Т . дои : 10.1038/s41598-017-13003-0 . ПМЦ   5653784 . ПМИД   29062063 .
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 66fd2156bf609d3f4943f9d2fe088750__1721075760
URL1:https://arc.ask3.ru/arc/aa/66/50/66fd2156bf609d3f4943f9d2fe088750.html
Заголовок, (Title) документа по адресу, URL1:
Higher-order singular value decomposition - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)