Многолинейный анализ главных компонент

Многолинейный анализ главных компонент ( MPCA ) — это полилинейное расширение анализа главных компонентов (PCA), которое используется для анализа массивов M-way, также неофициально называемых «тензорами данных». М-образные массивы могут быть смоделированы с помощью линейных тензорных моделей, таких как CANDECOMP/Parafac, или с помощью полилинейных тензорных моделей, таких как многолинейный анализ главных компонентов (MPCA) или полилинейный анализ независимых компонентов (MICA). Происхождение MPCA можно проследить до тензорного рангового разложения, введенного Фрэнком Лореном Хичкоком в 1927 году; ^[1] к разложению Такера ; ^[2] и работе Питера Круненберга «3-mode PCA». ^[3] В 2000 году Де Латаувер и др. вновь изложил работу Такера и Круненберга в ясных и кратких терминах числовых вычислений в своей статье SIAM, озаглавленной « Мультилинейное разложение сингулярных значений ». ^[4] (ХОСВД) и в своей статье «О наилучшем приближении ранга-1 и ранга-(R1 _, R2 _, ..., _RN ) тензоров высшего порядка». ^[5]

Примерно в 2001 году Василеску и Терзопулос переформулировали проблемы анализа, распознавания и синтеза данных как задачи полилинейного тензора. Тензорный факторный анализ является композиционным следствием нескольких причинных факторов формирования данных и хорошо подходит для мультимодального тензорного анализа данных. Возможности тензорной структуры были продемонстрированы путем анализа углов движения суставов человека, изображений лица или текстур с точки зрения их причинных факторов формирования данных в следующих работах: Сигнатуры движения человека. ^[6](CVPR 2001, ICPR 2002), распознавание лиц — TensorFaces , ^[7]^[8](ECCV 2002, CVPR 2003 и т. д.) и компьютерная графика – TensorTextures. ^[9] (Сигграф 2004).

Исторически MPCA назывался «M-mode PCA» — термин, придуманный Питером Круненбергом в 1980 году. ^[3] В 2005 году Василеску и Терзопулос представили многолинейный PCA. ^[10] терминологии как способ лучше различать линейное и полилинейное тензорное разложение, а также лучше различать работу ^[6]^[7]^[8]^[9] которые вычислили статистику 2-го порядка, связанную с каждым режимом (осью) тензора данных, и последующую работу над многолинейным анализом независимых компонентов. ^[10] которые вычисляли статистику более высокого порядка, связанную с каждым режимом/осью тензора.

Мультилинейный PCA может применяться для вычисления причинных факторов формирования данных или в качестве инструмента обработки сигналов на тензорах данных, отдельные наблюдения которых были векторизованы, ^[6]^[7]^[8]^[9] или чьи наблюдения рассматриваются как совокупность наблюдений столбцов/строк, «матрицы данных» и объединяются в тензор данных. Основным недостатком этого подхода является то, что вместо вычисления всех возможных комбинаций

MPCA вычисляет набор ортонормированных матриц, связанных с каждой модой тензора данных, которые аналогичны ортонормированному пространству строк и столбцов матрицы, вычисленной матрицей SVD. Это преобразование направлено на то, чтобы уловить как можно большую дисперсию, учитывая как можно большую изменчивость данных, связанных с каждым режимом (осью) тензора данных.

Алгоритм

Решение MPCA следует методу попеременных наименьших квадратов (ALS). Он носит итеративный характер.Как и PCA, MPCA работает с центрированными данными. Центрирование тензоров немного сложнее и зависит от проблемы.

Выбор функции

Особенности MPCA: Контролируемый MPCA используется в анализе причинных факторов, который облегчает распознавание объектов. ^[11] в то время как в задачах визуализации используется полуконтролируемый выбор функций MPCA. ^[12]

Расширения

Различные расширения MPCA:

Надежный MPCA (RMPCA) ^[13]
Мультитензорная факторизация, которая также автоматически определяет количество компонентов (MTF). ^[14]

Ссылки

^ Ф. Л. Хичкок (1927). «Выражение тензора или полиады как сумма произведений». Журнал математики и физики . 6 (1–4): 164–189. дои : 10.1002/sapm192761164 .
^ Такер, Ледьярд Р. (сентябрь 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. дои : 10.1007/BF02289464 . ПМИД 5221127 .
^ Jump up to: ^а ^б П. М. Круненберг и Дж. де Леу, Анализ главных компонентов трехрежимных данных с помощью алгоритмов чередующихся наименьших квадратов , Psychometrika, 45 (1980), стр. 69–97.
^ Латаувер, Л.Д.; Мавр, Б.Д.; Вандевалле, Дж. (2000). «Полилинейное разложение по сингулярным значениям» . Журнал SIAM по матричному анализу и его приложениям . 21 (4): 1253–1278. дои : 10.1137/s0895479896305696 .
^ Латаувер, Л.Д.; Мавр, Б.Д.; Вандевалле, Дж. (2000). «О наилучшем приближении ранга 1 и ранга (R1, R2, ..., RN) тензоров высших порядков» . Журнал SIAM по матричному анализу и его приложениям . 21 (4): 1324–1342. дои : 10.1137/s0895479898346995 .
^ Jump up to: ^а ^б ^с МАО Василеску (2002) «Сигнатуры движения человека: анализ, синтез, распознавание», материалы Международной конференции по распознаванию образов (ICPR 2002), Vol. 3, Квебек, Канада, август 2002 г., стр. 456–460.
^ Jump up to: ^а ^б ^с МАО Василеску, Д. Терзопулос (2002) «Мультилинейный анализ ансамблей изображений: TensorFaces», Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г., «Компьютерное зрение» - ECCV 2002, Конспекты лекций по информатике, Vol. 2350, А. Хейден и др. (Ред.), Springer-Verlag, Берлин, 2002, 447–460.
^ Jump up to: ^а ^б ^с МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений», МАО Василеску, Д. Терзопулос, Proc. Конференция по компьютерному зрению и распознаванию образов (CVPR '03), Том 2, Мэдисон, Висконсин, июнь 2003 г. , 93–99.
^ Jump up to: ^а ^б ^с МАО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: многолинейный рендеринг на основе изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004, Лос-Анджелес, Калифорния, август 2004 г., в журнале Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
^ Jump up to: ^а ^б МАО Василеску, Д. Терзопулос (2005) «Мультилинейный независимый анализ компонентов» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., том 1, 547–553. "
^ МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г.»
^ Х. Лу, Х.-Л. Энг, М. Тида и К.Н. Платаниотис, « Визуализация и кластеризация массового видеоконтента в подпространстве MPCA », в материалах 19-й конференции ACM по управлению информацией и знаниями (CIKM 2010), Торонто, Онтарио, Канада, октябрь 2010 г.
^ К. Иноуэ, К. Хара, К. Урахама, «Надежный многолинейный анализ главных компонент», Proc. Конференция IEEE по компьютерному зрению, 2009 г., стр. 591–597.
^ Хан, Сулейман А.; Леппяхо, Эмели; Каски, Сэмюэл (10 июня 2016 г.). «Байесовская мультитензорная факторизация». Машинное обучение . 105 (2): 233–253. arXiv : 1412.4679 . дои : 10.1007/s10994-016-5563-y . ISSN 0885-6125 .

Внешние ссылки

Код Matlab : MPCA .
Код Matlab : UMPCA (включая данные) .
Код R: MTF

[1] Ф. Л. Хичкок (1927). «Выражение тензора или полиады как сумма произведений». Журнал математики и физики . 6 (1–4): 164–189. дои : 10.1002/sapm192761164 .

[2] Такер, Ледьярд Р. (сентябрь 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. дои : 10.1007/BF02289464 . ПМИД 5221127 .

[Kroonenberg1980-3] Jump up to: ^а ^б П. М. Круненберг и Дж. де Леу, Анализ главных компонентов трехрежимных данных с помощью алгоритмов чередующихся наименьших квадратов , Psychometrika, 45 (1980), стр. 69–97.

[DeLathauwer2000a-4] Латаувер, Л.Д.; Мавр, Б.Д.; Вандевалле, Дж. (2000). «Полилинейное разложение по сингулярным значениям» . Журнал SIAM по матричному анализу и его приложениям . 21 (4): 1253–1278. дои : 10.1137/s0895479896305696 .

[DeLathauwer2000b-5] Латаувер, Л.Д.; Мавр, Б.Д.; Вандевалле, Дж. (2000). «О наилучшем приближении ранга 1 и ранга (R1, R2, ..., RN) тензоров высших порядков» . Журнал SIAM по матричному анализу и его приложениям . 21 (4): 1324–1342. дои : 10.1137/s0895479898346995 .

[Vasilescu2002b-6] Jump up to: ^а ^б ^с МАО Василеску (2002) «Сигнатуры движения человека: анализ, синтез, распознавание», материалы Международной конференции по распознаванию образов (ICPR 2002), Vol. 3, Квебек, Канада, август 2002 г., стр. 456–460.

[Vasilescu2002a-7] Jump up to: ^а ^б ^с МАО Василеску, Д. Терзопулос (2002) «Мультилинейный анализ ансамблей изображений: TensorFaces», Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г., «Компьютерное зрение» - ECCV 2002, Конспекты лекций по информатике, Vol. 2350, А. Хейден и др. (Ред.), Springer-Verlag, Берлин, 2002, 447–460.

[Vasilescu2003-8] Jump up to: ^а ^б ^с МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений», МАО Василеску, Д. Терзопулос, Proc. Конференция по компьютерному зрению и распознаванию образов (CVPR '03), Том 2, Мэдисон, Висконсин, июнь 2003 г. , 93–99.

[Vasilescu2004-9] Jump up to: ^а ^б ^с МАО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: многолинейный рендеринг на основе изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004, Лос-Анджелес, Калифорния, август 2004 г., в журнале Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.

[MPCA-MICA2005-10] Jump up to: ^а ^б МАО Василеску, Д. Терзопулос (2005) «Мультилинейный независимый анализ компонентов» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., том 1, 547–553. "

[MPCA-11] МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г.»

[12] Х. Лу, Х.-Л. Энг, М. Тида и К.Н. Платаниотис, « Визуализация и кластеризация массового видеоконтента в подпространстве MPCA », в материалах 19-й конференции ACM по управлению информацией и знаниями (CIKM 2010), Торонто, Онтарио, Канада, октябрь 2010 г.

[13] К. Иноуэ, К. Хара, К. Урахама, «Надежный многолинейный анализ главных компонент», Proc. Конференция IEEE по компьютерному зрению, 2009 г., стр. 591–597.

[14] Хан, Сулейман А.; Леппяхо, Эмели; Каски, Сэмюэл (10 июня 2016 г.). «Байесовская мультитензорная факторизация». Машинное обучение . 105 (2): 233–253. arXiv : 1412.4679 . дои : 10.1007/s10994-016-5563-y . ISSN 0885-6125 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]