База данных векторов
| Часть серии о |
| Машинное обучение и интеллектуальный анализ данных |
|---|
База данных векторов , хранилище векторов или поисковая система векторов — это база данных , которая может хранить векторы (списки чисел фиксированной длины) вместе с другими элементами данных. Векторные базы данных обычно реализуют один или несколько алгоритмов приближенного ближайшего соседа (ANN). [1] [2] так что можно выполнить поиск в базе данных с помощью вектора запроса для получения наиболее совпадающих записей базы данных.
Векторы — это математические представления данных в многомерном пространстве. В этом пространстве каждое измерение соответствует функции данных , причем количество измерений варьируется от нескольких сотен до десятков тысяч, в зависимости от сложности представляемых данных. Положение вектора в этом пространстве представляет его характеристики. Векторизовать можно слова, фразы или целые документы, а также изображения, аудио и другие типы данных. [3]
Эти векторы признаков могут быть вычислены на основе необработанных данных с использованием методов машинного обучения, таких как извлечения признаков алгоритмы , встраивания слов. [4] или сети глубокого обучения . Цель состоит в том, чтобы семантически схожие элементы данных получали векторы признаков, близкие друг к другу.
Векторные базы данных могут использоваться для поиска по сходству , семантического поиска , мультимодального поиска , механизмов рекомендаций , больших языковых моделей (LLM), обнаружения объектов и т. д. [5]
Векторные базы данных также часто используются для реализации генерации с расширенным поиском (RAG), метода улучшения специфичных для предметной области ответов больших языковых моделей. Поисковым компонентом RAG может быть любая поисковая система, но чаще всего она реализуется в виде векторной базы данных. Собираются текстовые документы, описывающие интересующую область, и для каждого документа или раздела документа вычисляется вектор признаков (известный как « встраивание »), обычно с использованием сети глубокого обучения, и сохраняется в базе данных векторов. По запросу пользователя вычисляется вектор признаков запроса и выполняется запрос к базе данных для получения наиболее релевантных документов. Затем они автоматически добавляются в контекстное окно большой языковой модели, и большая языковая модель приступает к созданию ответа на приглашение с учетом этого контекста. [6]
Техники
[ редактировать ]Наиболее важные методы поиска сходства в многомерных векторах включают:
- Иерархические графики навигационного малого мира (HNSW)
- Локально-зависимое хеширование (LSH) и эскизы
- Квантование продукта (PQ)
- Инвертированные файлы
и комбинации этих методов. [ нужна ссылка ]
В последних тестах реализации на базе HNSW показали одни из лучших результатов. [7] [8] На таких конференциях, как Международная конференция по поиску и применению сходства, SISAP и Конференция по нейронным системам обработки информации (NeurIPS), проводятся соревнования по векторному поиску в больших базах данных.
Реализации
[ редактировать ]См. также
[ редактировать ]- Проклятие размерности . Трудности, возникающие при анализе данных со многими аспектами («измерениями»).
- Машинное обучение – изучение алгоритмов, которые автоматически улучшаются на основе опыта.
- Поиск ближайшего соседа - Задача оптимизации в информатике
- Рекомендательная система – система фильтрации информации для прогнозирования предпочтений пользователей.
Ссылки
[ редактировать ]- ^ Рой Швабер-Коэн. «Что такое база данных векторов и как она работает» . Сосновая шишка . Проверено 18 ноября 2023 г.
- ^ «Что такое векторная база данных» . Эластичный . Проверено 18 ноября 2023 г.
- ^ «Векторная база данных» . Learn.microsoft.com . 26 декабря 2023 г. Проверено 11 января 2024 г.
- ^ Эван Чаки (31 июля 2023 г.). «Что такое векторная база данных?» . Майкрософт.
База данных векторов — это тип базы данных, в которой данные хранятся в виде многомерных векторов, которые являются математическим представлением объектов или атрибутов.
- ^ «Векторная база данных» . Learn.microsoft.com . 26 декабря 2023 г. Проверено 11 января 2024 г.
- ^ Льюис, Патрик; Перес, Итан; Пиктус, Александра; Петрони, Фабио; Карпухин Владимир; Гоял, Наман; Кюттлер, Генрих (2020). «Поколение с расширенным поиском для наукоемких задач НЛП». Достижения в области нейронных систем обработки информации 33 : 9459–9474. arXiv : 2005.11401 .
- ^ Аумюллер, Мартин; Бернхардссон, Эрик; Фейтфулл, Александр (2017), Бикс, Кристиан; Борутта, Феликс; Крегер, Пер; Зайдль, Томас (ред.), «ANN-Benchmarks: инструмент сравнительного анализа приближенных алгоритмов ближайшего соседа» , «Поиск по сходству и приложения» , vol. 10609, Чам: Springer International Publishing, стр. 34–49, arXiv : 1807.05614 , doi : 10.1007/978-3-319-68474-1_3 , ISBN 978-3-319-68473-4 , получено 19 марта 2024 г.
- ^ Аумюллер, Мартин; Бернхардссон, Эрик; Верный, Александр (2017). «ANN-Benchmarks: инструмент сравнительного анализа приближенных алгоритмов ближайшего соседа» . В Биксе, Кристиан; Борутта, Феликс; Крегер, Пер; Зайдль, Томас (ред.). Поиск по сходству и его применение . Конспекты лекций по информатике. Том. 10609. Чам: Springer International Publishing. стр. 34–49. arXiv : 1807.05614 . дои : 10.1007/978-3-319-68474-1_3 . ISBN 978-3-319-68474-1 .
- ^ «Aerospike признан независимой исследовательской фирмой среди известных поставщиков в отчете о базах данных векторов» . Морнингстар . 07.05.2024 . Проверено 1 августа 2024 г.
- ^ «Aerospike привлекает 109 миллионов долларов для своей платформы баз данных в реальном времени, чтобы извлечь выгоду из бума искусственного интеллекта» . ТехКранч . 04.04.2024 . Проверено 1 августа 2024 г.
- ^ «АллегроГраф 8.0 включает в себя нейросимволический искусственный интеллект, путь к ОИИ» . Новый стек . 29 декабря 2023 г. Проверено 6 июня 2024 г.
- ^ «Franz Inc. представляет AllegroGraph Cloud: управляемый сервис для графов знаний нейросимволического ИИ» . Датанами . 18 января 2024 г. Проверено 6 июня 2024 г.
- ^ «5 сложных задач векторного поиска и как их решает Кассандра» . Новый стек . 22 сентября 2023 г. Проверено 22 сентября 2023 г.
- ^ «Краткое руководство по векторному поиску» . Проверено 21 ноября 2023 г.
- ^ Палаццоло, Стефани. «База данных Vector Chroma получила стартовое финансирование в размере 18 миллионов долларов при оценке в 75 миллионов долларов. Вот почему ее технология является ключом к помощи стартапам в области генеративного искусственного интеллекта» . Бизнес-инсайдер . Проверено 16 ноября 2023 г.
- ^ МСВ, Джанакирам (28 июля 2023 г.). «Изучение цветности: база данных векторов с открытым исходным кодом для студентов LLM» . Новый стек . Проверено 16 ноября 2023 г.
- ^ «цветность/ЛИЦЕНЗИЯ в основном · цветность-ядро/цветность» . Гитхаб .
- ^ «Векторная база данных» . Learn.microsoft.com . 26 декабря 2023 г. Проверено 10 января 2024 г.
- ^ «Целью Couchbase является повышение производительности баз данных разработчиков с помощью инструмента искусственного интеллекта Capella IQ» . ВенчурБит . 30 августа 2023 г.
- ^ «Презентация для инвесторов за третий квартал 2024 финансового года» . Couchbase по связям с инвесторами . 06.12.2023.
- ^ Андерсон, Скотт (26 марта 2021 г.). «Couchbase принимает лицензию BSL» . Блог Couchbase . Проверено 14 февраля 2024 г.
- ^ Кернер, Шон (23 мая 2023 г.). «Elasticsearch Relevance Engine привносит новые векторы в генеративный искусственный интеллект» . ВенчурБит . Проверено 18 ноября 2023 г.
- ^ «elasticsearch/LICENSE.txt в основном · elastic/elasticsearch» . Гитхаб .
- ^ «Индексирование запросов HDF5» . Гитхаб . 27 сентября 2019 г. Проверено 3 мая 2024 г.
- ^ «HDFGroup/КОПИРОВАНИЕ на мастере · HDFGroup/hdf5» . Гитхаб . Проверено 29 октября 2023 г.
- ^ «Фонарь» . 05.04.2024 . Проверено 5 апреля 2024 г.
- ^ «фонарь/ЛИЦЕНЗИЯ в главном /lanterndata/lantern» . Гитхаб . Проверено 10 апреля 2024 г.
- ^ Виггерс, Кайл (6 июня 2023 г.). «LlamaIndex добавляет частные данные в большие языковые модели» . ТехКранч . Проверено 29 октября 2023 г.
- ^ «llama_index/LICENSE в главном · run-llama/llama_index» . Гитхаб . Проверено 29 октября 2023 г.
- ^ «МарияДБ Вектор» . MariaDB.org . Проверено 30 июля 2024 г.
- ^ «Векторный поиск в старых и современных базах данных» . manticoresearch.com . Проверено 30 июля 2024 г.
- ^ «Часто задаваемые вопросы по лицензированию» . База знаний MariaDB . Проверено 30 июля 2024 г.
- ^ «База данных векторов с открытым исходным кодом – Milvus – LFAI & DATA» . Проверено 29 октября 2023 г.
- ^ Ляо, Ингрид Лунден и Рита (24 августа 2022 г.). «Зиллиз привлекает 60 миллионов долларов и переезжает в Сан-Франциско» . ТехКранч . Проверено 29 октября 2023 г.
- ^ «Представляем векторный поиск в атласе: создавайте интеллектуальные приложения с помощью семантического поиска и искусственного интеллекта для любых типов данных» . МонгоБД . 22 июня 2023 г.
- ^ «Neo4j расширяет свою базу данных графов с помощью векторного поиска» . этократко . 22 августа 2023 г.
- ^ «Векторные поисковые индексы» . нео4дж .
- ^ «Лицензирование Neo4j» .
- ^ «Пятнадцать лучших векторных баз данных» . db-engines.com . 03.07.2024 . Проверено 03 июля 2024 г.
- ^ «Лицензия ObjectBox Java» . гитхаб .
- ^ «Использование OpenSearch в качестве векторной базы данных» . OpenSearch.org . 2 августа 2023 г. Проверено 7 февраля 2024 г.
- ^ Пан, Джеймс Цзе; Ван, Цзяньго; Ли, Гуолян (21 октября 2023 г.), Обзор систем управления базами данных векторов , arXiv : 2310.14021
- ^ «AWS представляет новые инструменты управления и анализа данных на базе искусственного интеллекта» . КремниевыйУГОЛ . 26 июля 2023 г. Проверено 7 февраля 2024 г.
- ^ «Лицензия OpenSearch» . гитхаб .
- ^ Хук(1) и Приядарши(2), Дуг(1) и Ранджан(2) (2 мая 2024 г.). «Oracle объявляет о доступности векторного поиска ИИ в базе данных Oracle 23ai» . оракул . Проверено 9 июля 2024 г.
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка ) CS1 maint: URL-статус ( ссылка ) - ^ «Сосновая шишка приводит к «взрыву» векторных баз данных для генеративного искусственного интеллекта» . ВенчурБит . 14 июля 2023 г. Проверено 29 октября 2023 г.
- ^ "pgvector" . Гитхаб . Проверено 27 ноября 2023 г.
- ^ "pgvector/Лицензия" . Гитхаб . Проверено 27 ноября 2023 г.
- ^ Сойерс, Пол (19 апреля 2023 г.). «Qdrant, стартап векторных баз данных с открытым исходным кодом, хочет помочь разработчикам ИИ использовать неструктурированные данные» . ТехКранч . Проверено 29 октября 2023 г.
- ^ «qdrant/LICENSE на мастере · qdrant/qdrant» . Гитхаб . Проверено 29 октября 2023 г.
- ^ «Использование Redis в качестве векторной базы данных с OpenAI | Рецепты OpenAI» . Cookbook.openai.com . Проверено 10 февраля 2024 г.
- ^ «Краткое руководство по использованию Redis как векторной базы данных» . Редис . Проверено 31 января 2024 г.
- ^ «Поиск и запрос» . Редис . Проверено 10 февраля 2024 г.
- ^ «Векторный тип данных и функции подобия векторов — Общая доступность» . Снежинка . 17 мая 2024 г. Проверено 17 мая 2024 г.
- ^ Виггерс, Кайл (4 января 2023 г.). «SurrealDB привлекает 6 миллионов долларов для своего предложения «база данных как услуга»» . ТехКранч . Проверено 19 января 2024 г.
- ^ «SurrealDB | Часто задаваемые вопросы по лицензиям | Лучшая многомодельная база данных» . СюрреалДБ . Проверено 14 февраля 2024 г.
- ^ Мартинес, Мигель (20 июня 2024 г.). «Домашняя страница Typesense» . Типсенс . Проверено 20 июня 2024 г.
- ^ «Лицензирование TypeSense» .
- ^ Райли, Дункан (4 октября 2023 г.). «Yahoo выделяет движок масштабирования искусственного интеллекта Vespa в независимую компанию» . кремнийУГОЛ . Проверено 18 ноября 2023 г.
- ^ «vespa/ЛИЦЕНЗИЯ у мастера · vespa-engine/vespa» . Гитхаб .
- ^ «Weaviate заработала 50 миллионов долларов на свою векторную базу данных, оптимизированную для искусственного интеллекта» . КремниевыйУГОЛ . 21 апреля 2023 г. Проверено 29 октября 2023 г.
- ^ «ткать/ЛИЦЕНЗИЯ у мастера · ткать/ткать» . Гитхаб . Проверено 29 октября 2023 г.
Внешние ссылки
[ редактировать ]- Сойерс, Пол (20 апреля 2024 г.). «Почему векторные базы данных переживают момент пика ажиотажа вокруг ИИ» . ТехКранч . Проверено 23 апреля 2024 г.