Апач ЛЕВ
 | |
| Разработчик(и) | Фонд программного обеспечения Apache |
|---|---|
| Первоначальный выпуск | 8 октября 2015 г |
| Стабильная версия | 4.2.0 / 15 марта 2024 г |
| Репозиторий | |
| Написано в | С++ , Питон |
| Операционная система | Linux , MacOS , Windows |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | элементы |
Apache SINGA — это проект верхнего уровня Apache для разработки библиотеки машинного обучения с открытым исходным кодом . Он обеспечивает гибкую архитектуру для масштабируемого распределенного обучения, может быть расширен для работы на широком спектре оборудования и ориентирован на приложения в сфере здравоохранения.
Apache SINGA выиграла премию SIGMOD Systems Award 2024 [1] за разработку распределенной, эффективной, масштабируемой и простой в использовании платформы глубокого обучения для крупномасштабного анализа данных .
История
[ редактировать ]Проект SINGA был инициирован группой DB System в Национальном университете Сингапура в 2014 году в сотрудничестве с группой баз данных Университета Чжэцзян, чтобы поддержать сложную аналитику в масштабе и сделать системы баз данных более интеллектуальными и автономными . [2] Он был сосредоточен на распределенном глубоком обучении путем разделения модели и данных на узлы в кластере и распараллеливания обучения. [3] [4] Прототип был принят инкубатором Apache в марте 2015 года и завершен как проект верхнего уровня в октябре 2019 года. В таблице ниже собрана информация о различных типах версий, например, о последней версии, последней предварительной версии, более старых версиях, которые все еще актуальны. поддерживаются и старые версии.
| Версия | Исходная дата выпуска | Последняя версия | Дата выпуска |
|---|---|---|---|
| 4.2.0. | 2024-03-15 | 4.2.0 | 2024-03-15 |
| 4.1.0. | 2023-11-05 | 4.1.0 | 2023-11-05 |
| 4.0.0. | 2023-04-07 | 4.0.0 | 2023-04-07 |
| 3.3.0. | 2022-06-07 | 3.3.0 | 2022-06-07 |
| 3.2.0. | 2021-08-15 | 3.2.0 | 2021-08-15 |
| 3.1.0. | 2020-10-30 | 3.1.0 | 2020-10-30 |
| 3.0.0. | 2020-04-20 | 3.0.0 | 2020-04-20 |
| 2.0.0. | 2019-04-20 | 2.0.0 | 2019-04-20 |
| 1.2.0. | 2018-06-06 | 1.2.0 | 2018-06-06 |
| 1.1.0. | 2017-02-12 | 1.1.0 | 2017-02-12 |
| 1.0.0. | 2016-09-08 | 1.0.0 | 2016-09-08 |
| 0.3.0. | 2016-04-20 | 0.1.0 | 2016-04-20 |
| 0.2.0. | 2016-01-14 | 0.2.0 | 2016-01-14 |
| 0.1.0. | 2015-10-08 | 0.1.0 | 2015-10-08 |
Легенда: Старая версия Старая версия, все еще поддерживается Последняя версия | |||
Программный стек
[ редактировать ]Программный стек SINGA включает три основных компонента: ядро, ввод-вывод и модель. На следующем рисунке показаны эти компоненты вместе с оборудованием. Основной компонент обеспечивает управление памятью и тензорные операции; У IO есть классы для чтения (и записи) данных с (на) диска и сети; Компонент модели предоставляет структуры данных и алгоритмы для моделей машинного обучения, например слои для моделей нейронных сетей, оптимизаторы/инициализаторы/метрики/потери для общих моделей машинного обучения.
СИНГА-Авто
[ редактировать ]СИНГА-Авто (он же Рафики) [5] в VLDB2018) — это подсистема Apache SINGA, предоставляющая услуги обучения и вывода моделей машинного обучения. SINGA-Auto освобождает пользователей от построения моделей машинного обучения, настройки гиперпараметров и оптимизации точности и скорости прогнозирования. Пользователи могут просто загрузить свои наборы данных, настроить сервис для проведения обучения, а затем развернуть модель для вывода. В качестве системы облачных сервисов SINGA-Auto управляет аппаратными ресурсами, восстановлением после сбоев и т. д. Для простоты использования она предоставляет зоопарк моделей, который представляет собой набор встроенных моделей машинного обучения для популярных задач, таких как структурированные данные ( например, данные EMR), аналитика, распознавание изображений и обработка текста.
В сервисе обучения предлагается общая основа для распределенной настройки гиперпараметров, а схема совместной настройки разработана специально для моделей глубокого обучения.В сервисе вывода предлагается алгоритм планирования, основанный на обучении с подкреплением, для оптимизации общей точности и сокращения задержек. Он может адаптироваться к изменениям частоты запросов.
СИНГА-Легко
[ редактировать ]СИНГА-Легко [6] (ACM Multimedia 2021) — это простая в использовании среда глубокого обучения, созданная как компонент Apache SINGA для облегчения внедрения алгоритмов глубокого обучения и служб вывода пользователями приложений, специфичных для конкретной предметной области (например, мультимедиа, анализ медицинских изображений). Он обеспечивает распределенную настройку гиперпараметров на этапе обучения, динамический контроль вычислительных затрат на этапе вывода и интуитивно понятное взаимодействие пользователя с мультимедийным контентом, чему способствует объяснение модели. Для повышения точности он поддерживает методы регуляризации изображений и структурированных данных (ACM SIGMOD 2023). Чтобы поддержать признание пользователями результатов обучения, SINGA-Easy предоставляет пользователям возможность оценить эффективность модели с точки зрения объяснения модели на основе LIME. [7] и Град-САМ. [8]
МЛКаск
[ редактировать ]МЛКаск [9] (IEEE ICDE 2021) — это подсистема управления конвейерами, которая управляет конвейерами машинного обучения, от очистки данных до анализа данных, чтобы упростить обслуживание разработки и управления версиями конвейеров машинного обучения для совместной аналитики. Это служит для снижения стоимости и облегчения внедрения. MLCask поддерживает сквозное управление жизненным циклом машинного обучения, подобное Git. Используя историю версий компонентов конвейера и рабочей области, MLCask может пропускать неизмененные этапы предварительной обработки для решения частых проблем переобучения. Его нелинейная семантика управления версиями и операция слияния облегчают эффективную совместную разработку конвейера.
Выбор модели в базе данных
[ редактировать ]Начиная с версии 4.1.0, Apache SINGA обеспечивает поддержку выбора и вывода модели в базе данных в PostgreSQL. В системе реализован ресурсоэффективный двухфазный алгоритм выбора модели, который включает в себя методы выбора модели как без обучения, так и на основе обучения. Этот алгоритм выбора модели неинтрузивно интегрируется в PostgreSQL через хранимые процедуры с оптимизацией задержки выполнения и потребления памяти. Включение выбора модели в базе данных дает пользователям возможность получать высокопроизводительные модели в пределах заданных требований ко времени отклика.
Приложения
[ редактировать ]Апач ЛЕВ [10] используется в таких организациях, как NetEase, [11] Carnegie Technologies, CBRE, Citigroup, Больница JurongHealth, Национальный университет Сингапура, Национальная университетская больница, Noblis, Shentilium Technologies, Сингапурская больница общего профиля, Больница Тан Ток Сенг, YZBigData и другие. Apache SINGA используется в приложениях в банковском деле, образовании, финансах, здравоохранении, недвижимости, разработке программного обеспечения и других категориях.
Apache SINGA и социальное благо
[ редактировать ]Больница общего профиля Нг Тенг Фонг [12] сотрудничал с командой Apache SINGA для разработки приложения для людей с диагнозом преддиабет — состояния, при котором уровень глюкозы в крови выше нормы, но недостаточно высок, чтобы его можно было классифицировать как диабет.
Приложение под названием JurongHealth Food Log (JHFoodLg) использует Apache SINGA для сопоставления фотографий еды с базой данных местных блюд, включая рис наси паданг, лакса и чар сью, а также данные о питании, полученные от Совета по укреплению здоровья, кампуса JurongHealth и Австралийская база данных продуктов питания и питательных веществ. После комплексной очистки данных (например, единообразного форматирования, дедупликации, классификации продуктов питания, калибровки человеком) база данных содержит 209 861 изображение, охватывающее 13 групп продуктов питания и 233 категории продуктов питания.
Приложение позволяет пользователям больничной программы Lifestyle Intervention (Liven) устанавливать цели по снижению веса и физическим упражнениям. Шестимесячное исследование показывает, что почти все 20 пациентов, использовавших приложение, потеряли от 4 до 5 процентов своего первоначального веса.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ «Премия SIGMOD Systems» .
- ^ Вэй, Ван; Мэйхуэй, Чжан; Ган, Чен; Х.В., Джагадиш; Бенг Чин, Оой; Киан-Ли, Тан (июнь 2016 г.). «База данных соответствует глубокому обучению: проблемы и возможности». SIGMOD Запись . 45 (2): 17–22. arXiv : 1906.08986 . дои : 10.1145/3003665.3003669 . S2CID 6526411 .
- ^ Оой, Цзинь-Ли; Шэн, Ван; Цай, Чэнь, Ган; Гао, Чжаоцзин; Ван, Юань; Мэйхуэй, Кайпин (2015). «SINGA: Распределенная платформа глубокого обучения» (PDF) . й международной конференции ACM по мультимедиа . doi : 10.1145/2733373.2807410 . 8 23 - Материалы сентября 2016 .
- ^ Вэй, Ван; Чен, Банда; Ань Динь, Тьен Туан; Гао, Цзиньян; Оой, Бенг Чин; Тан, Киан-Ли; Шэн, Ван (2015). «SINGA: предоставление глубокого обучения в руки пользователей мультимедиа» (PDF) . Материалы 23-й международной конференции ACM по мультимедиа . стр. 25–34. дои : 10.1145/2733373.2806232 . S2CID 7169465 . Проверено 8 сентября 2016 г.
- ^ Ван, Вэй; Гао, Цзиньян; Чжан, Мэйхуэй; Шэн, Ван; Чен, Банда; Хим Нг, Тек; Оой, Бенг Чин; Шао, Цзе; Рейад, Моаз (2018). «Рафики: машинное обучение как система аналитических услуг» (PDF) . Труды Фонда VLDB . 12 (2): 128–140. arXiv : 1804.06087 . Бибкод : 2018arXiv180406087W . дои : 10.14778/3282495.3282499 . S2CID 4898729 . Проверено 9 января 2019 г.
- ^ Син, Наили; Юнг, Сай Хо; Цай, Чэнхао; Нг, Тек Хим; Ван, Вэй; Ян, Кайюань; Ян, Нан; Чжан, Мэйхуэй; Чен, Банда; Оой, Бенг Чин (2021). «SINGA-Easy: простая в использовании платформа для мультимодального анализа» (PDF) . Материалы 29-й международной конференции ACM по мультимедиа . стр. 1293–1302. дои : 10.1145/3474085.3475176 . ISBN 978-1-4503-8651-7 . Проверено 17 октября 2021 г.
- ^ Рибейро, Марко Тулио; Сингх, Самир; Гестрин, Карлос (2017). « Почему я должен вам доверять?»: Объяснение предсказаний любого классификатора» (PDF) . Материалы 22-й международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных . стр. 97–101. arXiv : 1602.04938 . дои : 10.1145/2939672.2939778 . Проверено 1 августа 2016 г.
- ^ Сельвараджу, Рампрасаат Р.; Когсвелл, Майкл; Дас, Абхишек; Ведантам, Рамакришна; Парих, Деви; Батра, Дхрув (2017). «Grad-CAM: визуальные пояснения из глубоких сетей посредством градиентной локализации» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) , 2017 г. стр. 618–626. arXiv : 1610.02391 . дои : 10.1109/ICCV.2017.74 . ISBN 978-1-5386-1032-9 .
- ^ Ло, Чжаоцзин; Юнг, Сай Хо; Чжан, Мэйхуэй; Чжэн, Кайпин; Чжу, Лей; Чен, Банда; Фан, Фейи; Линь, Цянь; Нгиам, Ки Юань; Оой, Бенг Чин (2021). «MLCask: эффективное управление развитием компонентов в конвейерах совместной аналитики данных». 37-я Международная конференция по инженерии данных (ICDE) , IEEE, 2021 г. стр. 1655–1666. arXiv : 2010.10246 . дои : 10.1109/ICDE51399.2021.00146 . ISBN 978-1-7281-9184-3 . S2CID 224802796 .
- ^ «THE APACHE SOFTWARE FOUNDATION ОБЪЯВЛЯЕТ APACHE SINGA КАК ПРОЕКТ ВЫСШЕГО УРОВНЯ» . news.apache.org . 4 ноября 2019 г. Проверено 4 ноября 2019 г.
- ^ NetEase (2 июня 2017 г.). «NetEase объединяется с Apache SINGA, чтобы конкурировать на новом поле битвы искусственного интеллекта . tech.163.com Проверено 3 июня 2017 г. » .
- ^ «Новое приложение позволяет людям в преддиабетическом состоянии использовать фотографии своей еды, чтобы проверить, полезна ли она» . «Стрейтс Таймс» . 24 января 2019 года . Проверено 6 апреля 2019 г.
Внешние ссылки
[ редактировать ]
- Проекты Apache Software Foundation
- Программное обеспечение для глубокого обучения
- Бесплатное программное обеспечение, написанное на C++.
- Бесплатное программное обеспечение, написанное на Python.
- Кроссплатформенное бесплатное программное обеспечение
- Бесплатное программное обеспечение для Linux
- Бесплатное программное обеспечение для Windows
- Бесплатное программное обеспечение для MacOS
- Программное обеспечение, использующее лицензию Apache