Jump to content

Актийский вектор

(Перенаправлено с Vectorwise )
Актийский вектор
Разработчик(и) Актиан Корпорейшн
Стабильная версия
Вектор 6.3 / 9 декабря 2022 г. ( 09.12.2022 ) [ 1 ]
Операционная система Кросс-платформенный
Тип СУБД
Лицензия Собственный
Веб-сайт www .актиан /продукты /аналитическая платформа /vector-smp-аналитика-база данных /
Актианский вектор в Hadoop
Разработчик(и) Актиан Корпорейшн
Стабильная версия
Вектор в Hadoop 6.0 / 24 апреля 2020 г. ( 24.04.2020 ) [ 2 ]
Операционная система Линукс
Тип СУБД
Лицензия Собственный
Веб-сайт www .актиан /аналитическая-база данных /vectorh-sql-hadoop /

Actian Vector (ранее известная как VectorWise ) — это SQL система управления реляционными базами данных , предназначенная для обеспечения высокой производительности в приложениях аналитических баз данных. [ 3 ] Компания опубликовала рекордные результаты теста TPC-H Совета по производительности обработки транзакций для баз данных размером 100 ГБ, 300 ГБ, 1 ТБ и 3 ТБ на некластеризованном оборудовании. [ 4 ] [ 5 ] [ 6 ] [ 7 ]

Vectorwise возник в результате исследовательского проекта X100, реализованного в рамках Centrum Wiskunde & Informatica (CWI, Голландского национального исследовательского института математики и информатики) в период с 2003 по 2008 год. В 2008 году она была выделена как начинающая компания и приобретена корпорацией Ingres в 2011 году. [ 8 ] Он был выпущен как коммерческий продукт в июне 2010 года. [ 9 ] [ 10 ] [ 11 ] [ 12 ] сначала для 64-битной платформы Linux, а позже и для Windows. Начиная с версии 3.5 в апреле 2014 года название продукта было сокращено до «Вектор». [ 13 ] В июне 2014 года Actian Vortex был анонсирован как с кластерной массовой параллельной обработкой версия Vector в ​​Hadoop с хранилищем в HDFS . [ 14 ] [ 15 ] Позже Actian Vortex был переименован в Actian Vector в Hadoop.

Технология

[ редактировать ]

Основные принципы архитектуры и проектирования механизма X100 базы данных VectorWise были хорошо описаны в двух докторских диссертациях основателей VectorWise Марцина Жуковски: «Балансирование векторизованного выполнения запросов с хранилищем, оптимизированным по пропускной способности». [ 16 ] и Шандор Хеман: «Обновление хранилищ сжатых столбцов», [ 17 ] под руководством другого основателя, профессора Питера Бонча . Механизм X100 был интегрирован с Ingres интерфейсом SQL, что позволило базе данных использовать синтаксис Ingres SQL, а также набор инструментов администрирования клиента и базы данных Ingres . [ 18 ]

В архитектуре выполнения запросов используется «векторизованное выполнение запросов» — обработка фрагментов кэшу векторов данных, соответствующих . Это позволяет задействовать принципы векторной обработки и одну команду, несколько данных (SIMD) — выполнять одну и ту же операцию над несколькими данными одновременно и использовать параллелизм на уровне данных на современном оборудовании. Это также снижает накладные расходы, возникающие при традиционной «построчной обработке», присутствующей в большинстве СУБД.

Хранилище базы данных имеет сжатый столбцовый формат. [ 19 ] с оптимизированным для сканирования менеджером буферов. В Actian Vortex в HDFS используется тот же собственный формат.

Загрузка больших объемов данных поддерживается посредством прямого добавления в стабильное хранилище, а небольшие транзакционные обновления поддерживаются с помощью запатентованной технологии. [ 20 ] Позиционные дельта-деревья (PDT) [ 17 ] [ 21 ] — специализированные B-деревоподобные структуры индексированных различий поверх стабильного хранилища, которые легко исправляются во время сканирования и прозрачно распространяются на стабильное хранилище в фоновом режиме. Метод хранения различий в патч-подобных структурах и массовая перезапись стабильного хранилища позволили работать в такой файловой системе, как HDFS, в которой файлы доступны только для добавления. [ 14 ]

Сравнительный Совета по производительности обработки транзакций, TPC-H тест производительности MonetDB проведенный ее первоначальным создателем в Centrum Wiskunde & Informatica (CWI) в 2003 году, показал возможности для улучшения ее производительности как аналитической базы данных. В результате исследователи CWI предложили новую архитектуру, использующую конвейерную обработку запросов («векторизованную обработку») для повышения производительности аналитических запросов. Это привело к созданию проекта «X100» с целью разработки нового ядра для MonetDB под названием «MonetDB/X100». [ 16 ] [ 22 ] [ 23 ]

Команда проекта X100 выиграла премию DaMoN Best Paper Award 2007 за статью «Векторизованная обработка данных в системе сотовой широкополосной связи». [ 24 ] [ 25 ] а также награду DaMoN за лучшую статью 2008 года за статью «DSM против NSM: компромисс между производительностью ЦП при блочно-ориентированной обработке запросов». [ 26 ] [ 27 ]

В августе 2009 года авторы проекта X100 получили награду «Лучшая десятилетняя статья» на 35-й Международной конференции по очень большим базам данных (VLDB) за свою статью 1999 года «Архитектура базы данных, оптимизированная для нового узкого места: доступ к памяти». VLDB признал, что команда проекта добилась большого прогресса в реализации идей, содержащихся в документе, за предыдущие 10 лет. [ 28 ] Основная идея статьи заключается в том, что традиционные системы реляционных баз данных были разработаны в конце 1970-х и начале 1980-х годов, когда производительность баз данных диктовалась временем, необходимым для чтения и записи данных на жесткий диск. В то время доступный процессор был относительно медленным, а основная память была относительно небольшой, так что за один раз в память можно было загрузить очень мало данных. Со временем аппаратное обеспечение улучшилось: скорость процессора и объем памяти удваивались примерно каждые два года в соответствии с законом Мура , но конструкция традиционных систем реляционных баз данных не адаптировалась. Исследовательская группа CWI описала улучшения в коде базы данных и структурах данных, позволяющие максимально эффективно использовать современное оборудование. [ 29 ]

В 2008 году проект X100 был выделен из MonetDB в отдельный проект с собственной компанией и переименован в VectorWise. Среди соучредителей были Питер А. Бонч и Марцин Жуковский. [ 30 ] [ 31 ]

В июне 2010 года технология VectorWise была официально анонсирована корпорацией Ingres . [ 10 ] [ 32 ] с выпуском Ingres VectorWise 1.0. [ 33 ]

В марте 2011 года был выпущен VectorWise 1.5. [ 34 ] публикует рекордный результат в тесте TPC-H 100 ГБ. [ 5 ] [ 35 ] Новые функции включали параллельное выполнение запросов (один запрос выполняется на нескольких ядрах ЦП), улучшенную массовую загрузку и расширенную поддержку SQL. В июне 2011 года был выпущен VectorWise 1.6. [ 6 ] публикация рекордных результатов по TPC-H 100 ГБ, [ 36 ] 300 ГБ [ 37 ] и 1 ТБ [ 38 ] некластеризованный бенчмарк.

В декабре 2011 года был выпущен VectorWise 2.0. [ 39 ] с новой поддержкой SQL для аналитических функций, таких как ранг и процентиль, а также улучшенные типы данных даты, времени и метки времени, а также поддержка распределения диска при хэш-соединениях и агрегации.

В июне 2012 года был выпущен VectorWise 2.5. [ 40 ] В этом выпуске формат хранилища был реорганизован, чтобы обеспечить возможность хранения базы данных в нескольких местах, механизм фонового распространения обновлений из PDT в стабильное хранилище был улучшен, чтобы позволить перезаписывать только измененные блоки вместо полной перезаписи, а также новый запатентованный [ 41 ] Был представлен Predictive Buffer Manager (PBM). [ 42 ]

В марте 2013 года был выпущен VectorWise 3.0. [ 43 ] Новые функции включали более эффективный механизм хранения, поддержку большего количества типов данных и аналитических функций SQL, расширенные функции DDL, а также улучшенную доступность мониторинга и профилирования.

В марте 2014 года был выпущен Actian Vector 3.5 с новым переименованным и сокращенным названием. [ 13 ] Новые функции включали поддержку секционированных таблиц, улучшенную разгрузку диска, возможности онлайн-резервного копирования и улучшенную поддержку SQL - например. MERGE/UPSERT операции DML и FIRST_VALUE и LAST_VALUE функции агрегирования окон.

В июне 2014 года на Hadoop Summit 2014 в Сан-Хосе компания Actian анонсировала Actian Vortex — кластерную MPP-версию Vector с тем же уровнем поддержки SQL, работающую в Hadoop, с хранилищем непосредственно в HDFS. [ 14 ] Позднее Actian Vortex был переименован в Actian Vector в Hadoop, и некластеризованные выпуски Actian Vector также обновляются в соответствии с ним. [ 1 ] В марте 2015 года был выпущен Actian Vector 4, а в декабре 2015 года — Actian Vector в Hadoop 4. [ 44 ]

В марте 2019 года Actian Avalanche была выпущена как платформа облачных данных, а Vector стал основным движком для предложения Warehouse. [ 45 ]

История выпусков

[ редактировать ]

Актийский вектор

[ редактировать ]
Выпускать Общая доступность Окончание корпоративной поддержки Окончание расширенной поддержки Конец поддержки устаревания
Текущая стабильная версия: 6.3. декабрь 2022 г. 31 декабря 2025 г. 31 декабря 2027 г. 31 декабря 2029 г.
Старая версия, но все еще поддерживается: 6.2. ноябрь 2021 г. 30 ноября 2024 г. 30 ноября 2026 г. 30 ноября 2028 г.
Старая версия, но все еще поддерживается: 6.0. июнь, 2020 г. 30 июня 2023 г. 30 июня 2025 г. 30 июня 2027 г.
Старая версия, но все еще поддерживается: 5.1 (Windows - расширенная) Май, 2018 г. 30 сентября 2021 г. 30 сентября 2023 г. 30 сентября 2025 г.
Старая версия, но все еще поддерживаемая: 5.1 (Linux). Май, 2018 г. 30 июня 2021 г. 30 июня 2023 г. 30 июня 2025 г.
Старая версия, но все еще поддерживается: 5.0. июнь 2016 г. 30 июня 2020 г. 30 июня 2022 г. 30 июня 2024 г.
Старая версия, больше не поддерживается: 4.x. Март, 2015 г. 31 декабря 2018 г. 31 декабря 2020 г. 31 декабря 2022 г.
Старая версия, больше не поддерживается: 3.5.x. Март, 2014 г. 31 марта 2017 г. 31 марта 2019 г. 31 марта 2021 г.
Старая версия, больше не поддерживается: 3.0.x. апрель 2013 г. 15 апреля 2016 г. 30 апреля 2017 г. Нет в наличии
Старая версия, больше не поддерживается: 2.5.x. июнь 2012 г. 1 июня 2015 г. 30 апреля 2017 г. Нет в наличии
Старая версия, больше не поддерживается: 2.0.x. ноябрь 2011 г. ноябрь 2011 г. 30 апреля 2017 г. Нет в наличии
Легенда:
Старая версия
Старая версия, все еще поддерживается
Последняя версия
Последняя предварительная версия
Future release

Актианский вектор в Hadoop

[ редактировать ]
Выпускать Общая доступность Окончание корпоративной поддержки Окончание расширенной поддержки Конец поддержки устаревания
Текущая стабильная версия: 6.0. 24 апреля 2020 г. 30 апреля 2023 г. 30 апреля 2026 г. 30 апреля 2029 г.
Старая версия, но все еще поддерживается: 5.1. ноябрь 2018 г. 30 ноября 2021 г. 30 ноября 2023 г. 30 ноября 2025 г.
Старая версия, но все еще поддерживается: 5.0. Октябрь, 2018 г. 31 октября 2020 г. 31 октября 2022 г. 31 октября 2024 г.
Старая версия, больше не поддерживается: 4.x. декабрь 2015 г. 31 декабря 2018 г. 31 декабря 2020 г. 31 декабря 2022 г.
Легенда:
Старая версия
Старая версия, все еще поддерживается
Последняя версия
Последняя предварительная версия
Future release

См. также

[ редактировать ]
  1. ^ Перейти обратно: а б «Vector 6.3 обеспечивает более простое администрирование, большую автоматизацию и повышенную производительность анализа данных» . 9 декабря 2022 г. Проверено 13 апреля 2023 г.
  2. ^ «Actian стремится помочь компаниям преодолеть ограничения Hadoop; добавляет поддержку реального времени, безопасности и машинного обучения» . 30 июля 2020 г. Проверено 13 апреля 2023 г.
  3. ^ «Векторное предприятие» . Корпорация Актиан . Проверено 3 мая 2012 г.
  4. ^ «TPC-H — Десять лучших результатов производительности — без кластеризации» . Совет по производительности обработки транзакций . Проверено 3 мая 2012 г.
  5. ^ Перейти обратно: а б «Vectorwise побил рекорд TPC-H с масштабным коэффициентом 100, показав 340% от предыдущего лучшего результата» (пресс-релиз). Корпорация Актиан. 15 февраля 2011 года . Проверено 7 февраля 2016 г.
  6. ^ Перейти обратно: а б «Vectorwise побивает рекорды тестов TPC-H емкостью 300 ГБ и 1 ТБ» (пресс-релиз). Корпорация Актиан. 4 мая 2011 года . Проверено 7 февраля 2011 г.
  7. ^ «Платформа Actian Analytics превосходит все остальные в 2 раза и устанавливает новый рекорд в последнем тесте TPC-H» . Корпорация Актиан . Проверено 20 августа 2016 г.
  8. ^ «Дочерняя компания CWI VectorWise продана корпорации Ingres» .
  9. ^ Кларк, Гэвин (2 февраля 2010 г.). «VectorWise компании Ingres готов ответить Microsoft» . Регистр .
  10. ^ Перейти обратно: а б Бэбкок, Чарльз (9 июня 2010 г.). «Ingres представляет ядро ​​базы данных VectorWise» . Информационная неделя .
  11. ^ Сулеман, Хидр (8 июня 2010 г.). «Ingres запускает движок базы данных VectorWise» . V3.co.uk.
  12. ^ Жуковский, Марцин; Бонч, Питер (2012). «От x100 к векторному». Материалы международной конференции по управлению данными 2012 г. - SIGMOD '12 . п. 861. дои : 10.1145/2213836.2213967 . ISBN  978-1-4503-1247-9 . S2CID   9187072 .
  13. ^ Перейти обратно: а б «Тссс: Хотите услышать об Actian Vector 3.5?» . 04.05.2016.
  14. ^ Перейти обратно: а б с «Вектор (мудрый) идет на Hadoop» .
  15. ^ «Питер Бонц — Actian Vector на Hadoop: первая промышленная СУБД, действительно использующая Hadoop» . Ютуб .
  16. ^ Перейти обратно: а б Жуковский, Марцин (11 сентября 2009 г.). «Балансирование выполнения векторизованных запросов с хранилищем, оптимизированным для пропускной способности» (PDF) . Университет Амстердама . Проверено 7 февраля 2016 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  17. ^ Перейти обратно: а б Хеман, Шандор (2015). «Обновление хранилища сжатых столбцов» (PDF) . Свободный университет Амстердама . Проверено 7 февраля 2016 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  18. ^ Инкстер, Дуг; Жуковский, Марцин; Бонч, Питер (сентябрь 2011 г.). «Интеграция VectorWise с Ingres» (PDF) . SIGMOD Запись . 40 (3): 45–53. дои : 10.1145/2070736.2070747 . hdl : 1871/33100 . S2CID   6372175 . Проверено 7 февраля 2016 г.
  19. ^ Жуковский, Марцин; Бонч, Питер (март 2012 г.). «Векторно: за пределами хранилищ столбцов» (PDF) . Бюллетень инженерии данных IEEE . 35 (1): 21–27 . Проверено 4 мая 2012 г.
  20. ^ Заявка США 20100235335 , Сандор А.Б.С. Хеман, Питер А. Бонч, Марцин Жуковски, Николаас Дж. Нес, «Архитектура базы данных столбцового хранилища с использованием системы и методов обновления позиционного дельта-дерева», опубликовано 16 сентября 2010 г.  
  21. ^ Хеман, Сандор; Жуковский, Марцин; Несс, Нильс; Сидирургос, Лефтерис; Бонч, Питер. «Обработка позиционных обновлений в хранилищах столбцов» (PDF) . Конференция SIGMOD 2010 : 543–554.
  22. ^ «Домашняя страница Питера Бонча» . Проверено 7 февраля 2016 г.
  23. ^ «Более быстрая технология баз данных с MonetDB/X100» . КРИ Амстердам . Проверено 4 мая 2012 г.
  24. ^ Хеман, С.; Нес, Нью-Джерси; Жуковский, М.; Бонч, Пенсильвания (2007). «Векторизованная обработка данных в системе сотовой широкополосной связи» . Университет Амстердама . Проверено 4 мая 2012 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  25. ^ «Третий международный семинар по управлению данными на новом оборудовании (DaMoN 2007)» . Школа компьютерных наук Карнеги-Меллона (SCS) . Проверено 4 мая 2012 г.
  26. ^ Жуковский, Марцин; Нес, Нильс; Бонч, Питер (2008). «DSM против NSM». Материалы 4-го международного семинара «Управление данными на новом оборудовании» — DaMoN '08 . п. 47. дои : 10.1145/1457150.1457160 . ISBN  9781605581842 . S2CID   11946467 .
  27. ^ «Четвертый международный семинар по управлению данными на новом оборудовании (DaMoN 2008)» . Школа компьютерных наук Карнеги-Меллона . Проверено 4 мая 2012 г.
  28. ^ «10-летняя премия за лучшую работу – VLDB 2009» . Международная конференция по очень большим базам данных . Проверено 4 мая 2012 г.
  29. ^ Бонч, Питер; Манегольд, Стефан; Керстен, Мартин Л. (15 июня 1999 г.). Архитектура базы данных, оптимизированная для нового узкого места: доступа к памяти (PDF) . Университет Амстердама . стр. 54–65. ISBN  1-55860-615-7 . Проверено 11 декабря 2013 г. {{cite book}}: |work= игнорируется ( помогите )
  30. ^ Курт Монаш (25 апреля 2013 г.). «Прощай, VectorWise, прощай, ParAccel?» . СУБД2 . Проверено 11 декабря 2013 г.
  31. ^ «Петер Бонч» . Веб-страница персонала . КРИ . Проверено 11 декабря 2013 г.
  32. ^ Кларк, Дон (22 сентября 2011 г.). «Фирма, производящая программное обеспечение для баз данных, пробует «приложения для действий» » . Уолл Стрит Джорнал .
  33. ^ «Ингрс Vectorwise 1.0» . Проверено 7 февраля 2016 г.
  34. ^ «Первый взгляд на Actian VectorWise 1.5» .
  35. ^ «TPC-H SF100 Vectorwise 1,5» .
  36. ^ «TPC-H SF100 Vectorwise 1,6» .
  37. ^ «TPC-H SF300 Vectorwise 1.6» .
  38. ^ «TPC-H SF1000 Vectorwise 1.6» .
  39. ^ «Еще более быстрый VectorWise» .
  40. ^ «Actian выпускает Vectorwise 2.5 — рекордная база данных теперь работает еще быстрее» .
  41. ^ B1 Патент США 8825959 B1 , Михал Свитаковски, Питер Бонц, Марцин Жуковски, «Метод и устройство для использования прогнозирования времени доступа к данным для улучшения политики буферизации данных», опубликовано 2 сентября 2014 г.  
  42. ^ Свитаковский, Михал; Бонч, Питер; Жуковский, Марцин (август 2012 г.). «От совместного сканирования к прогнозирующему управлению буфером» (PDF) . Труды Фонда VLDB . 5 (12). ВЛДБ 2012: 1759–1770. arXiv : 1208.4170 . Бибкод : 2012arXiv1208.4170S . дои : 10.14778/2367502.2367515 . S2CID   17184937 . Проверено 7 февраля 2016 г.
  43. ^ «Actian объявляет о доступности Vectorwise 3.0 для получения быстрых ответов на основе больших данных» .
  44. ^ «Даты жизненного цикла — актианский вектор и вектор в Hadoop» .
  45. ^ «Подключенное хранилище данных Actian Avalanche в реальном времени добавляет интеграцию» .
[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: b4357f805c568d8a55ea836f3501be6a__1691883660
URL1:https://arc.ask3.ru/arc/aa/b4/6a/b4357f805c568d8a55ea836f3501be6a.html
Заголовок, (Title) документа по адресу, URL1:
Actian Vector - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)