Мультилинейное обучение подпространству
Мультилинейное обучение подпространства — это подход, позволяющий выявить причинный фактор формирования данных и уменьшить размерность. [1] [2] [3] [4] [5] Уменьшение размерности данных может быть выполнено для тензора , который содержит набор векторизованных наблюдений, [1] или наблюдения, которые рассматриваются как матрицы и объединяются в тензор данных. [6] [7] Вот несколько примеров тензоров данных, наблюдения которых векторизованы или чьи наблюдения представляют собой матрицы, объединенные в изображения тензоров данных (2D/3D), видеопоследовательности (3D/4D) и гиперспектральные кубы (3D/4D).
Отображение векторного пространства высокой размерности в набор векторных пространств меньшей размерности представляет собой полилинейную проекцию. [4] Когда наблюдения сохраняются в той же организационной структуре, что и матрицы или тензоры более высокого порядка, их представления вычисляются путем выполнения линейных проекций в пространство столбцов, пространство строк и расслоенное пространство. [6]
Алгоритмы обучения многолинейному подпространству представляют собой обобщения высшего порядка методов обучения линейного подпространства , таких как анализ главных компонентов (PCA), анализ независимых компонентов (ICA), линейный дискриминантный анализ (LDA) и канонический корреляционный анализ (CCA).
Предыстория [ править ]
Полилинейные методы могут носить причинный характер и выполнять причинно-следственные выводы, либо они могут представлять собой простые методы регрессии, из которых не делается причинно-следственных выводов.
Алгоритмы обучения линейного подпространства — это традиционные методы уменьшения размерности, которые хорошо подходят для наборов данных, которые являются результатом изменения одного причинного фактора. К сожалению, они часто становятся неадекватными при работе с наборами данных, которые являются результатом множества причинных факторов. .
Многолинейное обучение подпространству может применяться к наблюдениям, измерения которых были векторизованы и организованы в тензор данных для причинно-зависимого уменьшения размерности. [1] Эти методы также можно использовать для уменьшения горизонтальной и вертикальной избыточности независимо от причинных факторов, когда наблюдения рассматриваются как «матрица» (т. е. совокупность независимых наблюдений столбцов/строк) и объединяются в тензор. [8] [9]
Алгоритмы [ править ]
главных Мультилинейный анализ компонент
Исторически многолинейный анализ главных компонент назывался «М-режим PCA» - терминология, придуманная Питером Круненбергом. [10] В 2005 году Василеску и Терзопулос представили многолинейный PCA. [11] терминология как способ лучше различать многолинейные тензорные разложения, которые вычисляют статистику 2-го порядка, связанную с каждым режимом тензора данных, [1] [2] [3] [12] [13] и последующая работа над многолинейным анализом независимых компонентов. [11] который вычислил статистику более высокого порядка для каждого тензорного режима. MPCA является расширением PCA .
анализ независимых Многолинейный компонентов
Многолинейный анализ независимых компонентов [11] является расширением ICA .
Полилинейный дискриминантный анализ линейный
- Многолинейное расширение LDA
Полилинейный канонический анализ корреляционный
- Многолинейное расширение CCA
- TTP — это прямая проекция тензора большой размерности на тензор низкой размерности того же порядка с использованием N матриц проекции для тензора N -го порядка. Это можно выполнить за N шагов, на каждом этапе выполняется умножение (произведение) тензорной матрицы. ступеней N взаимозаменяемы. [19] Эта проекция является расширением разложения по сингулярным значениям более высокого порядка. [19] (ХОСВД) для подпространственного обучения. [13] Следовательно, его происхождение восходит к разложению Такера [20] в 1960-е годы.
- TVP — это прямая проекция тензора большой размерности на вектор низкой размерности, который также называется проекциями первого ранга. Поскольку TVP проецирует тензор на вектор, его можно рассматривать как несколько проекций тензора на скаляр. Таким образом, TVP тензора на P -мерный вектор состоит из P проекций тензора на скаляр. Проекция тензора на скаляр — это элементарная полилинейная проекция (ЭМП). В ЭМИ тензор проецируется в точку через N единичных векторов проекции. Это проекция тензора на одну линию (получающая скаляр) с одним вектором проекции в каждой моде. Таким образом, ТВП тензорного объекта к вектору в P -мерном векторном пространстве состоит из P ЭМИ. Эта проекция является расширением канонического разложения , [21] также известный как разложение параллельных факторов (PARAFAC). [22]
Типичный подход в MSL [ править ]
Требуется N решить наборов параметров, по одному в каждом режиме. Решение одного набора часто зависит от других наборов (кроме случая N=1 , линейного случая). Поэтому субоптимальная итерационная процедура в [23] соблюдается.
- Инициализация проекций в каждом режиме
- Для каждого режима фиксируем проекцию во всех остальных режимах и находим проекцию в текущем режиме.
- Выполните оптимизацию по режимам в течение нескольких итераций или до сходимости.
Это происходит из метода попеременных наименьших квадратов для многофакторного анализа данных. [10]
Код [ править ]
- MATLAB Tensor Toolbox от Sandia National Laboratories .
- Алгоритм MPCA, написанный в Matlab (включая MPCA+LDA) .
- Алгоритм UMPCA, написанный в Matlab (данные включены) .
- Алгоритм UMLDA, написанный в Matlab (данные включены) .
Наборы тензорных данных
- 3D-данные о походке (тензоры третьего порядка): 128x88x20(21,2M) ; 64х44х20(9,9М) ; 32х22х10(3,2М) ;
См. также [ править ]
- CP-разложение
- Уменьшение размеров
- Полилинейная алгебра
- Многолинейный анализ главных компонентов
- Тензор
- Тензорное разложение
- Тензорное программное обеспечение
- Разложение Такера
Ссылки [ править ]
- ↑ Перейти обратно: Перейти обратно: а б с д МАО Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г.»
- ↑ Перейти обратно: Перейти обратно: а б МАО Василеску, Д. Терзопулос (2002) «Мультилинейный анализ ансамблей изображений: TensorFaces» , Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г.
- ↑ Перейти обратно: Перейти обратно: а б МАО Василеску, (2002) «Сигнатуры движения человека: анализ, синтез, распознавание» , «Материалы Международной конференции по распознаванию образов (ICPR 2002), том 3, Квебек, Канада, август 2002 г., 456–460».
- ↑ Перейти обратно: Перейти обратно: а б Василеску, МАО; Терзопулос, Д. (2007). Мультилинейная проекция для распознавания на основе внешнего вида в Tensor Framework . IEEE 11-я Международная конференция по компьютерному зрению . стр. 1–8. дои : 10.1109/ICCV.2007.4409067 . .
- ^ Лу, Хайпин; Платаниотис, КН; Венецанопулос, АН (2013). Мультилинейное обучение подпространству: уменьшение размерности многомерных данных . Чепмен и Холл/CRC Press. Серия «Машинное обучение и распознавание образов». Тейлор и Фрэнсис. ISBN 978-1-4398572-4-3 .
- ↑ Перейти обратно: Перейти обратно: а б Лу, Хайпин; Платаниотис, КН; Венецанопулос, АН (2011). «Обзор многолинейного обучения подпространства для тензорных данных» (PDF) . Распознавание образов . 44 (7): 1540–1551. Бибкод : 2011PatRe..44.1540L . дои : 10.1016/j.patcog.2011.01.004 .
- ^ X. Он, Д. Кай, П. Нийоги, Анализ тензорного подпространства , в: Достижения в области нейронных систем обработки информацииc 18 (NIPS), 2005.
- ^ «Будущие направления в тензорных вычислениях и моделировании» (PDF) . Май 2009.
- ↑ Перейти обратно: Перейти обратно: а б С. Ян, Д. Сюй, Ц. Ян, Л. Чжан, С. Тан и Х.-Дж. Чжан, « Дискриминантный анализ с тензорным представлением », в сб. Конференция IEEE по компьютерному зрению и распознаванию образов , том. Я, июнь 2005 г., стр. 526–532.
- ↑ Перейти обратно: Перейти обратно: а б П. М. Круненберг и Дж. де Леу, Анализ главных компонентов трехрежимных данных с помощью алгоритмов чередующихся наименьших квадратов , Psychometrika, 45 (1980), стр. 69–97.
- ↑ Перейти обратно: Перейти обратно: а б с МАО Василеску, Д. Терзопулос (2005) «Мультилинейный независимый анализ компонентов» , «Материалы конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., том 1, 547–553. "
- ^ МАО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: многолинейный рендеринг на основе изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004, Лос-Анджелес, Калифорния, август 2004 г., в журнале Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
- ↑ Перейти обратно: Перейти обратно: а б Х. Лу, К. Н. Платаниотис и А. Н. Венецанопулос, « MPCA: Многолинейный анализ главных компонент тензорных объектов », IEEE Trans. Нейронная сеть., том. 19, нет. 1, стр. 18–39, январь 2008 г.
- ^ Д. Тао, X. Ли, X. Ву и С. Дж. Мэйбанк, « Общий тензорный дискриминантный анализ и функции Габора для распознавания походки », IEEE Trans. Паттерн Анал. Мах. Интел., вып. 29, нет. 10, стр. 1700–1715, октябрь 2007 г.
- ^ Х. Лу, К. Н. Платаниотис и А. Н. Венецанопулос, « Некоррелированный многолинейный дискриминантный анализ с регуляризацией и агрегированием для распознавания тензорных объектов », IEEE Trans. Нейронная сеть., том. 20, нет. 1, стр. 103–123, январь 2009 г.
- ^ Т.-К. Ким и Р. Чиполла. « Канонический корреляционный анализ тензоров объема видео для категоризации и обнаружения действий », IEEE Trans. Паттерн Анал. Мах. Интел., вып. 31, нет. 8, стр. 1415–1428, 2009.
- ^ Х. Лу, « Изучение канонических корреляций парных тензорных наборов посредством проекции тензор-вектор », Материалы 23-й Международной совместной конференции по искусственному интеллекту (IJCAI 2013), Пекин, Китай, 3–9 августа 2013 г.
- ^ Хан, Сулейман А.; Каски, Сэмюэл (15 сентября 2014 г.). «Байесовская многовидовая тензорная факторизация». В Колдерсе, Тун; Эспозито, Флориана ; Хюллермайер, Эйке; Мео, Роза (ред.). Машинное обучение и обнаружение знаний в базах данных . Конспекты лекций по информатике. Том. 8724. Шпрингер Берлин Гейдельберг. стр. 656–671. дои : 10.1007/978-3-662-44848-9_42 . ISBN 9783662448472 .
- ↑ Перейти обратно: Перейти обратно: а б Л. Д. Латаувер, Б. Д. Мур, Дж. Вандевалле, Многолинейное разложение по сингулярным значениям , SIAM Journal of Matrix Analysis and Applications vol. 21, нет. 4, стр. 1253–1278, 2000 г.
- ^ Ледьярд Р. Такер (сентябрь 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. дои : 10.1007/BF02289464 . ПМИД 5221127 . S2CID 44301099 .
- ^ Дж. Д. Кэрролл и Дж. Чанг (1970). «Анализ индивидуальных различий в многомерном масштабировании посредством n -стороннего обобщения разложения Эккарта – Янга». Психометрика . 35 (3): 283–319. дои : 10.1007/BF02310791 . S2CID 50364581 .
- ^ Р. А. Харшман, Основы процедуры PARAFAC: Модели и условия для «объяснительного» мультимодального факторного анализа. Архивировано 10 октября 2004 г. в Wayback Machine . Рабочие документы Калифорнийского университета в Лос-Анджелесе по фонетике, 16, стр. 1–84, 1970.
- ^ LD Latauwer, BD Moor, J. Vandewalle, О наилучшем приближении ранга 1 и ранга (R1, R2,..., RN) тензоров высшего порядка , SIAM Journal of Matrix Analysis and Applications 21 (4) ( 2000) 1324–1342.