Скрытое пространство
Скрытое пространство , также известное как пространство скрытых признаков или пространство встраивания , представляет собой вложение набора элементов в многообразие , в котором элементы, похожие друг на друга, расположены ближе друг к другу. Положение внутри скрытого пространства можно рассматривать как определяемое набором скрытых переменных , возникающих в результате сходства объектов.
В большинстве случаев размерность скрытого пространства выбирается ниже размерности пространства признаков , из которого извлекаются точки данных, что делает построение скрытого пространства примером уменьшения размерности , что также можно рассматривать как форма сжатия данных . [1] Скрытые пространства обычно подбираются с помощью машинного обучения , а затем их можно использовать в качестве пространств признаков в моделях машинного обучения, включая классификаторы и другие контролируемые предикторы.
Интерпретация скрытых пространств моделей машинного обучения является активной областью исследований, но интерпретацию скрытого пространства достичь сложно. Из-за того, что модели машинного обучения представляют собой «черный ящик», скрытое пространство может быть совершенно неинтуитивным. Кроме того, скрытое пространство может быть многомерным, сложным и нелинейным, что может усложнить интерпретацию. [2] Некоторые методы визуализации были разработаны для соединения скрытого пространства с визуальным миром, но между интерпретацией скрытого пространства и самой моделью часто нет прямой связи. Такие методы включают t-распределенное стохастическое внедрение соседей (t-SNE), где скрытое пространство отображается в двух измерениях для визуализации. В скрытых пространственных расстояниях отсутствуют физические единицы, поэтому интерпретация этих расстояний может зависеть от приложения. [3]
Встраивание моделей
[ редактировать ]Для выполнения этого преобразования с целью создания вложений в скрытом пространстве было разработано несколько моделей внедрения с учетом набора элементов данных и функции сходства . Эти модели изучают вложения, используя статистические методы и алгоритмы машинного обучения. Вот некоторые часто используемые модели внедрения:
- Word2Vec : [4] Word2Vec — популярная модель внедрения, используемая в обработке естественного языка (NLP). Он изучает встраивание слов, обучая нейронную сеть на большом корпусе текста. Word2Vec фиксирует семантические и синтаксические отношения между словами, позволяя проводить значимые вычисления, такие как аналогии слов.
- ПЕРЧАТКА : [5] GloVe (глобальные векторы для представления слов) — еще одна широко используемая модель внедрения для НЛП. Он объединяет глобальную статистическую информацию из корпуса с информацией о локальном контексте для изучения встраивания слов. Вложения GloVe известны тем, что фиксируют как семантическое, так и реляционное сходство между словами.
- Сиамские сети : [6] Сиамские сети — это тип архитектуры нейронных сетей, обычно используемый для встраивания на основе сходства. Они состоят из двух идентичных подсетей, которые обрабатывают две входные выборки и создают соответствующие им представления. Сиамские сети часто используются для таких задач, как сходство изображений, системы рекомендаций и распознавание лиц.
- Вариационные автоэнкодеры (VAE): [7] VAE — это генеративные модели, которые одновременно учатся кодировать и декодировать данные. Скрытое пространство в VAE действует как пространство встраивания. Обучая VAE на многомерных данных, таких как изображения или аудио, модель учится кодировать данные в компактное скрытое представление. VAE известны своей способностью генерировать новые образцы данных из изученного скрытого пространства.
Мультимодальность
[ редактировать ]Мультимодальность означает интеграцию и анализ нескольких режимов или типов данных в рамках одной модели или структуры. Встраивание мультимодальных данных предполагает фиксацию связей и взаимодействий между различными типами данных, такими как изображения, текст, аудио и структурированные данные.
Мультимодальные модели внедрения направлены на изучение совместных представлений, которые объединяют информацию из нескольких модальностей, что позволяет проводить кросс-модальный анализ и решать задачи. Эти модели позволяют применять такие приложения, как подписи к изображениям, визуальные ответы на вопросы и мультимодальный анализ настроений.
Для внедрения мультимодальных данных используются специализированные архитектуры, такие как глубокие мультимодальные сети или мультимодальные преобразователи. Эти архитектуры сочетают в себе различные типы модулей нейронных сетей для обработки и интеграции информации из различных модальностей. Получающиеся в результате внедрения фиксируют сложные отношения между различными типами данных, облегчая мультимодальный анализ и понимание.
Приложения
[ редактировать ]Встраивание скрытого пространства и мультимодальные модели встраивания нашли множество применений в различных областях:
- Поиск информации. Методы внедрения позволяют эффективно использовать системы поиска и рекомендаций по сходству, представляя точки данных в компактном пространстве.
- Обработка естественного языка. Встраивание слов произвело революцию в таких задачах НЛП, как анализ настроений, машинный перевод и классификация документов.
- Компьютерное зрение: встраивание изображений и видео позволяет выполнять такие задачи, как распознавание объектов, поиск изображений и обобщение видео.
- Системы рекомендаций: встраивания помогают фиксировать предпочтения пользователей и характеристики товаров, обеспечивая персонализированные рекомендации.
- Здравоохранение: методы внедрения применялись к электронным медицинским записям, медицинским изображениям и геномным данным для прогнозирования, диагностики и лечения заболеваний.
- Социальные системы. Методы внедрения можно использовать для изучения скрытых представлений социальных систем, таких как системы внутренней миграции, [8] сети академического цитирования, [9] и мировые торговые сети. [10]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Лю, Ян; Джун, Юнис; Ли, Цишэн; Хир, Джеффри (июнь 2019 г.). «Картография скрытого пространства: визуальный анализ векторных вложений в пространство» . Форум компьютерной графики . 38 (3): 67–78. дои : 10.1111/cgf.13672 . ISSN 0167-7055 . S2CID 189858337 .
- ^ Ли, Цзыцян; Тао, Рентуо; Ван, Цзе; Ли, Фу; Ню, Хунцзин; Юэ, Миндао; Ли, Бинь (февраль 2021 г.). «Интерпретация скрытого пространства GAN посредством измерения развязки» . Транзакции IEEE по искусственному интеллекту . 2 (1): 58–70. дои : 10.1109/TAI.2021.3071642 . ISSN 2691-4581 . S2CID 234847784 .
- ^ Арванитидис, Джордж; Хансен, Ларс Кай; Хауберг, Юг (13 декабря 2021 г.). «Скрытая космическая странность: о кривизне глубоких генеративных моделей». arXiv : 1710.11379 [ stat.ML ].
- ^ Миколов, Томас; Суцкевер, Илья; Чен, Кай; Коррадо, Грег С; Дин, Джефф (2013). «Распределенные представления слов и фраз и их композиционность» . Достижения в области нейронных систем обработки информации . 26 . Curran Associates, Inc. arXiv : 1310.4546 .
- ^ Пеннингтон, Джеффри; Сошер, Ричард; Мэннинг, Кристофер (октябрь 2014 г.). «Перчатка: глобальные векторы для представления слов» . Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Доха, Катар: Ассоциация компьютерной лингвистики. стр. 1532–1543. дои : 10.3115/v1/D14-1162 .
- ^ Чикко, Давиде (2021), Картрайт, Хью (редактор), «Сиамские нейронные сети: обзор» , Искусственные нейронные сети , Методы молекулярной биологии, том. 2190, Нью-Йорк, штат Нью-Йорк: Springer US, стр. 73–94, doi : 10.1007/978-1-0716-0826-5_3 , ISBN. 978-1-0716-0826-5 , PMID 32804361 , S2CID 221144012 , получено 26 июня 2023 г.
- ^ Кингма, Дидерик П.; Веллинг, Макс (27 ноября 2019 г.). «Введение в вариационные автоэнкодеры» . Основы и тенденции в машинном обучении . 12 (4): 307–392. arXiv : 1906.02691 . дои : 10.1561/2200000056 . ISSN 1935-8237 . S2CID 174802445 .
- ^ Гюрсой, Фуркан; Бадур, Бертан (06 октября 2022 г.). «Исследование внутренней миграции с помощью сетевого анализа и скрытых пространственных представлений: применение к Турции» . Анализ социальных сетей и майнинг . 12 (1): 150. дои : 10.1007/s13278-022-00974-w . ISSN 1869-5469 . ПМЦ 9540093 . ПМИД 36246429 .
- ^ Асатани, Кимитака; Мори, Дзюнъитиро; Очи, Масанао; Саката, Ичиро (21 мая 2018 г.). «Обнаружение тенденций в академических исследованиях по сети цитирования с использованием обучения сетевому представлению» . ПЛОС ОДИН . 13 (5): e0197260. дои : 10.1371/journal.pone.0197260 . ISSN 1932-6203 . ПМК 5962067 . ПМИД 29782521 .
- ^ Гарсиа-Перес, Гильермо; Богунья, Мариан; Аллард, Антуан; Серрано, М. Анхелес (16 сентября 2016 г.). «Скрытая гиперболическая геометрия международной торговли: Атлас мировой торговли 1870–2013» . Научные отчеты . 6 (1): 33441. дои : 10.1038/srep33441 . ISSN 2045-2322 . ПМК 5025783 . ПМИД 27633649 .