Актийский вектор
 | |
| Разработчик(и) | Актиан Корпорейшн |
|---|---|
| Стабильная версия | Вектор 6.3
/ 9 декабря 2022 г. [ 1 ] |
| Операционная система | Кросс-платформенный |
| Тип | СУБД |
| Лицензия | Собственный |
| Веб-сайт | www |
| |
| Разработчик(и) | Актиан Корпорейшн |
|---|---|
| Стабильная версия | Вектор в Hadoop 6.0
/ 24 апреля 2020 г. [ 2 ] |
| Операционная система | Линукс |
| Тип | СУБД |
| Лицензия | Собственный |
| Веб-сайт | www |
Actian Vector (ранее известная как VectorWise ) — это SQL система управления реляционными базами данных , предназначенная для обеспечения высокой производительности в приложениях аналитических баз данных. [ 3 ] Компания опубликовала рекордные результаты теста TPC-H Совета по производительности обработки транзакций для баз данных размером 100 ГБ, 300 ГБ, 1 ТБ и 3 ТБ на некластеризованном оборудовании. [ 4 ] [ 5 ] [ 6 ] [ 7 ]
Vectorwise возник в результате исследовательского проекта X100, реализованного в рамках Centrum Wiskunde & Informatica (CWI, Голландского национального исследовательского института математики и информатики) в период с 2003 по 2008 год. В 2008 году она была выделена как начинающая компания и приобретена корпорацией Ingres в 2011 году. [ 8 ] Он был выпущен как коммерческий продукт в июне 2010 года. [ 9 ] [ 10 ] [ 11 ] [ 12 ] сначала для 64-битной платформы Linux, а позже и для Windows. Начиная с версии 3.5 в апреле 2014 года название продукта было сокращено до «Вектор». [ 13 ] В июне 2014 года Actian Vortex был анонсирован как с кластерной массовой параллельной обработкой версия Vector в Hadoop с хранилищем в HDFS . [ 14 ] [ 15 ] Позже Actian Vortex был переименован в Actian Vector в Hadoop.
Технология
[ редактировать ]Основные принципы архитектуры и проектирования механизма X100 базы данных VectorWise были хорошо описаны в двух докторских диссертациях основателей VectorWise Марцина Жуковски: «Балансирование векторизованного выполнения запросов с хранилищем, оптимизированным по пропускной способности». [ 16 ] и Шандор Хеман: «Обновление хранилищ сжатых столбцов», [ 17 ] под руководством другого основателя, профессора Питера Бонча . Механизм X100 был интегрирован с Ingres интерфейсом SQL, что позволило базе данных использовать синтаксис Ingres SQL, а также набор инструментов администрирования клиента и базы данных Ingres . [ 18 ]
В архитектуре выполнения запросов используется «векторизованное выполнение запросов» — обработка фрагментов кэшу векторов данных, соответствующих . Это позволяет задействовать принципы векторной обработки и одну команду, несколько данных (SIMD) — выполнять одну и ту же операцию над несколькими данными одновременно и использовать параллелизм на уровне данных на современном оборудовании. Это также снижает накладные расходы, возникающие при традиционной «построчной обработке», присутствующей в большинстве СУБД.
Хранилище базы данных имеет сжатый столбцовый формат. [ 19 ] с оптимизированным для сканирования менеджером буферов. В Actian Vortex в HDFS используется тот же собственный формат.
Загрузка больших объемов данных поддерживается посредством прямого добавления в стабильное хранилище, а небольшие транзакционные обновления поддерживаются с помощью запатентованной технологии. [ 20 ] Позиционные дельта-деревья (PDT) [ 17 ] [ 21 ] — специализированные B-деревоподобные структуры индексированных различий поверх стабильного хранилища, которые легко исправляются во время сканирования и прозрачно распространяются на стабильное хранилище в фоновом режиме. Метод хранения различий в патч-подобных структурах и массовая перезапись стабильного хранилища позволили работать в такой файловой системе, как HDFS, в которой файлы доступны только для добавления. [ 14 ]
История
[ редактировать ]Сравнительный Совета по производительности обработки транзакций, TPC-H тест производительности MonetDB проведенный ее первоначальным создателем в Centrum Wiskunde & Informatica (CWI) в 2003 году, показал возможности для улучшения ее производительности как аналитической базы данных. В результате исследователи CWI предложили новую архитектуру, использующую конвейерную обработку запросов («векторизованную обработку») для повышения производительности аналитических запросов. Это привело к созданию проекта «X100» с целью разработки нового ядра для MonetDB под названием «MonetDB/X100». [ 16 ] [ 22 ] [ 23 ]
Команда проекта X100 выиграла премию DaMoN Best Paper Award 2007 за статью «Векторизованная обработка данных в системе сотовой широкополосной связи». [ 24 ] [ 25 ] а также награду DaMoN за лучшую статью 2008 года за статью «DSM против NSM: компромисс между производительностью ЦП при блочно-ориентированной обработке запросов». [ 26 ] [ 27 ]
В августе 2009 года авторы проекта X100 получили награду «Лучшая десятилетняя статья» на 35-й Международной конференции по очень большим базам данных (VLDB) за свою статью 1999 года «Архитектура базы данных, оптимизированная для нового узкого места: доступ к памяти». VLDB признал, что команда проекта добилась большого прогресса в реализации идей, содержащихся в документе, за предыдущие 10 лет. [ 28 ] Основная идея статьи заключается в том, что традиционные системы реляционных баз данных были разработаны в конце 1970-х и начале 1980-х годов, когда производительность баз данных диктовалась временем, необходимым для чтения и записи данных на жесткий диск. В то время доступный процессор был относительно медленным, а основная память была относительно небольшой, так что за один раз в память можно было загрузить очень мало данных. Со временем аппаратное обеспечение улучшилось: скорость процессора и объем памяти удваивались примерно каждые два года в соответствии с законом Мура , но конструкция традиционных систем реляционных баз данных не адаптировалась. Исследовательская группа CWI описала улучшения в коде базы данных и структурах данных, позволяющие максимально эффективно использовать современное оборудование. [ 29 ]
В 2008 году проект X100 был выделен из MonetDB в отдельный проект с собственной компанией и переименован в VectorWise. Среди соучредителей были Питер А. Бонч и Марцин Жуковский. [ 30 ] [ 31 ]
В июне 2010 года технология VectorWise была официально анонсирована корпорацией Ingres . [ 10 ] [ 32 ] с выпуском Ingres VectorWise 1.0. [ 33 ]
В марте 2011 года был выпущен VectorWise 1.5. [ 34 ] публикует рекордный результат в тесте TPC-H 100 ГБ. [ 5 ] [ 35 ] Новые функции включали параллельное выполнение запросов (один запрос выполняется на нескольких ядрах ЦП), улучшенную массовую загрузку и расширенную поддержку SQL. В июне 2011 года был выпущен VectorWise 1.6. [ 6 ] публикация рекордных результатов по TPC-H 100 ГБ, [ 36 ] 300 ГБ [ 37 ] и 1 ТБ [ 38 ] некластеризованный бенчмарк.
В декабре 2011 года был выпущен VectorWise 2.0. [ 39 ] с новой поддержкой SQL для аналитических функций, таких как ранг и процентиль, а также улучшенные типы данных даты, времени и метки времени, а также поддержка распределения диска при хэш-соединениях и агрегации.
В июне 2012 года был выпущен VectorWise 2.5. [ 40 ] В этом выпуске формат хранилища был реорганизован, чтобы обеспечить возможность хранения базы данных в нескольких местах, механизм фонового распространения обновлений из PDT в стабильное хранилище был улучшен, чтобы позволить перезаписывать только измененные блоки вместо полной перезаписи, а также новый запатентованный [ 41 ] Был представлен Predictive Buffer Manager (PBM). [ 42 ]
В марте 2013 года был выпущен VectorWise 3.0. [ 43 ] Новые функции включали более эффективный механизм хранения, поддержку большего количества типов данных и аналитических функций SQL, расширенные функции DDL, а также улучшенную доступность мониторинга и профилирования.
В марте 2014 года был выпущен Actian Vector 3.5 с новым переименованным и сокращенным названием. [ 13 ] Новые функции включали поддержку секционированных таблиц, улучшенную разгрузку диска, возможности онлайн-резервного копирования и улучшенную поддержку SQL - например. MERGE/UPSERT операции DML и FIRST_VALUE и LAST_VALUE функции агрегирования окон.
В июне 2014 года на Hadoop Summit 2014 в Сан-Хосе компания Actian анонсировала Actian Vortex — кластерную MPP-версию Vector с тем же уровнем поддержки SQL, работающую в Hadoop, с хранилищем непосредственно в HDFS. [ 14 ] Позднее Actian Vortex был переименован в Actian Vector в Hadoop, и некластеризованные выпуски Actian Vector также обновляются в соответствии с ним. [ 1 ] В марте 2015 года был выпущен Actian Vector 4, а в декабре 2015 года — Actian Vector в Hadoop 4. [ 44 ]
В марте 2019 года Actian Avalanche была выпущена как платформа облачных данных, а Vector стал основным движком для предложения Warehouse. [ 45 ]
История выпусков
[ редактировать ]Актийский вектор
[ редактировать ]| Выпускать | Общая доступность | Окончание корпоративной поддержки | Окончание расширенной поддержки | Конец поддержки устаревания |
|---|---|---|---|---|
| 6.3. | декабрь 2022 г. | 31 декабря 2025 г. | 31 декабря 2027 г. | 31 декабря 2029 г. |
| 6.2. | ноябрь 2021 г. | 30 ноября 2024 г. | 30 ноября 2026 г. | 30 ноября 2028 г. |
| 6.0. | июнь, 2020 г. | 30 июня 2023 г. | 30 июня 2025 г. | 30 июня 2027 г. |
| 5.1 (Windows - расширенная) | Май, 2018 г. | 30 сентября 2021 г. | 30 сентября 2023 г. | 30 сентября 2025 г. |
| 5.1 (Linux). | Май, 2018 г. | 30 июня 2021 г. | 30 июня 2023 г. | 30 июня 2025 г. |
| 5.0. | июнь 2016 г. | 30 июня 2020 г. | 30 июня 2022 г. | 30 июня 2024 г. |
| 4.x. | Март, 2015 г. | 31 декабря 2018 г. | 31 декабря 2020 г. | 31 декабря 2022 г. |
| 3.5.x. | Март, 2014 г. | 31 марта 2017 г. | 31 марта 2019 г. | 31 марта 2021 г. |
| 3.0.x. | апрель 2013 г. | 15 апреля 2016 г. | 30 апреля 2017 г. | Нет в наличии |
| 2.5.x. | июнь 2012 г. | 1 июня 2015 г. | 30 апреля 2017 г. | Нет в наличии |
| 2.0.x. | ноябрь 2011 г. | ноябрь 2011 г. | 30 апреля 2017 г. | Нет в наличии |
Актианский вектор в Hadoop
[ редактировать ]| Выпускать | Общая доступность | Окончание корпоративной поддержки | Окончание расширенной поддержки | Конец поддержки устаревания |
|---|---|---|---|---|
| 6.0. | 24 апреля 2020 г. | 30 апреля 2023 г. | 30 апреля 2026 г. | 30 апреля 2029 г. |
| 5.1. | ноябрь 2018 г. | 30 ноября 2021 г. | 30 ноября 2023 г. | 30 ноября 2025 г. |
| 5.0. | Октябрь, 2018 г. | 31 октября 2020 г. | 31 октября 2022 г. | 31 октября 2024 г. |
| 4.x. | декабрь 2015 г. | 31 декабря 2018 г. | 31 декабря 2020 г. | 31 декабря 2022 г. |
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Перейти обратно: а б «Vector 6.3 обеспечивает более простое администрирование, большую автоматизацию и повышенную производительность анализа данных» . 9 декабря 2022 г. Проверено 13 апреля 2023 г.
- ^ «Actian стремится помочь компаниям преодолеть ограничения Hadoop; добавляет поддержку реального времени, безопасности и машинного обучения» . 30 июля 2020 г. Проверено 13 апреля 2023 г.
- ^ «Векторное предприятие» . Корпорация Актиан . Проверено 3 мая 2012 г.
- ^ «TPC-H — Десять лучших результатов производительности — без кластеризации» . Совет по производительности обработки транзакций . Проверено 3 мая 2012 г.
- ^ Перейти обратно: а б «Vectorwise побил рекорд TPC-H с масштабным коэффициентом 100, показав 340% от предыдущего лучшего результата» (пресс-релиз). Корпорация Актиан. 15 февраля 2011 года . Проверено 7 февраля 2016 г.
- ^ Перейти обратно: а б «Vectorwise побивает рекорды тестов TPC-H емкостью 300 ГБ и 1 ТБ» (пресс-релиз). Корпорация Актиан. 4 мая 2011 года . Проверено 7 февраля 2011 г.
- ^ «Платформа Actian Analytics превосходит все остальные в 2 раза и устанавливает новый рекорд в последнем тесте TPC-H» . Корпорация Актиан . Проверено 20 августа 2016 г.
- ^ «Дочерняя компания CWI VectorWise продана корпорации Ingres» .
- ^ Кларк, Гэвин (2 февраля 2010 г.). «VectorWise компании Ingres готов ответить Microsoft» . Регистр .
- ^ Перейти обратно: а б Бэбкок, Чарльз (9 июня 2010 г.). «Ingres представляет ядро базы данных VectorWise» . Информационная неделя .
- ^ Сулеман, Хидр (8 июня 2010 г.). «Ingres запускает движок базы данных VectorWise» . V3.co.uk.
- ^ Жуковский, Марцин; Бонч, Питер (2012). «От x100 к векторному». Материалы международной конференции по управлению данными 2012 г. - SIGMOD '12 . п. 861. дои : 10.1145/2213836.2213967 . ISBN 978-1-4503-1247-9 . S2CID 9187072 .
- ^ Перейти обратно: а б «Тссс: Хотите услышать об Actian Vector 3.5?» . 04.05.2016.
- ^ Перейти обратно: а б с «Вектор (мудрый) идет на Hadoop» .
- ^ «Питер Бонц — Actian Vector на Hadoop: первая промышленная СУБД, действительно использующая Hadoop» . Ютуб .
- ^ Перейти обратно: а б Жуковский, Марцин (11 сентября 2009 г.). «Балансирование выполнения векторизованных запросов с хранилищем, оптимизированным для пропускной способности» (PDF) . Университет Амстердама . Проверено 7 февраля 2016 г.
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Перейти обратно: а б Хеман, Шандор (2015). «Обновление хранилища сжатых столбцов» (PDF) . Свободный университет Амстердама . Проверено 7 февраля 2016 г.
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Инкстер, Дуг; Жуковский, Марцин; Бонч, Питер (сентябрь 2011 г.). «Интеграция VectorWise с Ingres» (PDF) . SIGMOD Запись . 40 (3): 45–53. дои : 10.1145/2070736.2070747 . hdl : 1871/33100 . S2CID 6372175 . Проверено 7 февраля 2016 г.
- ^ Жуковский, Марцин; Бонч, Питер (март 2012 г.). «Векторно: за пределами хранилищ столбцов» (PDF) . Бюллетень инженерии данных IEEE . 35 (1): 21–27 . Проверено 4 мая 2012 г.
- ^ Заявка США 20100235335 , Сандор А.Б.С. Хеман, Питер А. Бонч, Марцин Жуковски, Николаас Дж. Нес, «Архитектура базы данных столбцового хранилища с использованием системы и методов обновления позиционного дельта-дерева», опубликовано 16 сентября 2010 г.
- ^ Хеман, Сандор; Жуковский, Марцин; Несс, Нильс; Сидирургос, Лефтерис; Бонч, Питер. «Обработка позиционных обновлений в хранилищах столбцов» (PDF) . Конференция SIGMOD 2010 : 543–554.
- ^ «Домашняя страница Питера Бонча» . Проверено 7 февраля 2016 г.
- ^ «Более быстрая технология баз данных с MonetDB/X100» . КРИ Амстердам . Проверено 4 мая 2012 г.
- ^
Хеман, С.; Нес, Нью-Джерси; Жуковский, М.; Бонч, Пенсильвания (2007). «Векторизованная обработка данных в системе сотовой широкополосной связи» . Университет Амстердама . Проверено 4 мая 2012 г.
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ «Третий международный семинар по управлению данными на новом оборудовании (DaMoN 2007)» . Школа компьютерных наук Карнеги-Меллона (SCS) . Проверено 4 мая 2012 г.
- ^ Жуковский, Марцин; Нес, Нильс; Бонч, Питер (2008). «DSM против NSM». Материалы 4-го международного семинара «Управление данными на новом оборудовании» — DaMoN '08 . п. 47. дои : 10.1145/1457150.1457160 . ISBN 9781605581842 . S2CID 11946467 .
- ^ «Четвертый международный семинар по управлению данными на новом оборудовании (DaMoN 2008)» . Школа компьютерных наук Карнеги-Меллона . Проверено 4 мая 2012 г.
- ^ «10-летняя премия за лучшую работу – VLDB 2009» . Международная конференция по очень большим базам данных . Проверено 4 мая 2012 г.
- ^
Бонч, Питер; Манегольд, Стефан; Керстен, Мартин Л. (15 июня 1999 г.). Архитектура базы данных, оптимизированная для нового узкого места: доступа к памяти (PDF) . Университет Амстердама . стр. 54–65. ISBN 1-55860-615-7 . Проверено 11 декабря 2013 г.
{{cite book}}:|work=игнорируется ( помогите ) - ^ Курт Монаш (25 апреля 2013 г.). «Прощай, VectorWise, прощай, ParAccel?» . СУБД2 . Проверено 11 декабря 2013 г.
- ^ «Петер Бонч» . Веб-страница персонала . КРИ . Проверено 11 декабря 2013 г.
- ^ Кларк, Дон (22 сентября 2011 г.). «Фирма, производящая программное обеспечение для баз данных, пробует «приложения для действий» » . Уолл Стрит Джорнал .
- ^ «Ингрс Vectorwise 1.0» . Проверено 7 февраля 2016 г.
- ^ «Первый взгляд на Actian VectorWise 1.5» .
- ^ «TPC-H SF100 Vectorwise 1,5» .
- ^ «TPC-H SF100 Vectorwise 1,6» .
- ^ «TPC-H SF300 Vectorwise 1.6» .
- ^ «TPC-H SF1000 Vectorwise 1.6» .
- ^ «Еще более быстрый VectorWise» .
- ^ «Actian выпускает Vectorwise 2.5 — рекордная база данных теперь работает еще быстрее» .
- ^ B1 Патент США 8825959 B1 , Михал Свитаковски, Питер Бонц, Марцин Жуковски, «Метод и устройство для использования прогнозирования времени доступа к данным для улучшения политики буферизации данных», опубликовано 2 сентября 2014 г.
- ^ Свитаковский, Михал; Бонч, Питер; Жуковский, Марцин (август 2012 г.). «От совместного сканирования к прогнозирующему управлению буфером» (PDF) . Труды Фонда VLDB . 5 (12). ВЛДБ 2012: 1759–1770. arXiv : 1208.4170 . Бибкод : 2012arXiv1208.4170S . дои : 10.14778/2367502.2367515 . S2CID 17184937 . Проверено 7 февраля 2016 г.
- ^ «Actian объявляет о доступности Vectorwise 3.0 для получения быстрых ответов на основе больших данных» .
- ^ «Даты жизненного цикла — актианский вектор и вектор в Hadoop» .
- ^ «Подключенное хранилище данных Actian Avalanche в реальном времени добавляет интеграцию» .