Коллективные знания (программное обеспечение)
 | |
| Разработчик(и) | Григорий Фурсин и Фонд cTuning |
|---|---|
| Первоначальный выпуск | 2015 |
| Стабильная версия | 2.6.3 (прекращено для новой структуры Коллективного Разума) [1] )
/ 30 ноября 2022 г. |
| Написано в | Питон |
| Операционная система | Linux , Mac OS X , Microsoft Windows , Android |
| Тип | Управление знаниями , данные FAIR , MLOps , управление данными , оценка артефактов , система управления пакетами , система научных рабочих процессов , DevOps , непрерывная интеграция , воспроизводимость |
| Лицензия | Лицензия Apache для версии 2.0 и лицензия BSD (3 пункта) для версии 1.0. |
| Веб-сайт | github |
Проект «Коллективные знания » ( CK ) — это с открытым исходным кодом платформа и хранилище , позволяющие проводить совместные, воспроизводимые и устойчивые исследования и разработки сложных вычислительных систем. [2] CK — это небольшая, портативная, настраиваемая и децентрализованная инфраструктура, помогающая исследователям и практикам:
- делиться своим кодом, данными и моделями в виде многоразовых компонентов Python и действий по автоматизации. [3] с унифицированным JSON API , метаинформацией JSON и UID , основанным на принципах FAIR. [2]
- собирать переносимые рабочие процессы из общих компонентов (таких как многоцелевая автонастройка и исследование пространства проектирования). [4] )
- автоматизировать, использовать краудсорсинг и воспроизводить бенчмаркинг сложных вычислительных систем [5]
- унифицировать прогнозную аналитику ( scikit-learn , R , DNN)
- обеспечить воспроизводимые и интерактивные документы [6]
Известные обычаи
[ редактировать ]- ARM использует CK для ускорения компьютерной инженерии [7]
- Несколько конференций , спонсируемых ACM, используют CK для автоматизации процесса оценки артефактов. [8] [9]
- Имперский колледж (Лондон) использует CK для автоматизации и краудсорсинга компилятора . обнаружения ошибок [10]
- Исследователи из Кембриджского университета использовали CK, чтобы помочь сообществу воспроизвести результаты их публикации на Международном симпозиуме по генерации и оптимизации кода (CGO'17) во время оценки артефактов. [11]
- General Motors (США) использует CK для краудфандингового тестирования сверточных нейронных сетей оптимизации [12] [13]
- Фонд Raspberry Pi и фонд cTuning выпустили рабочий процесс CK с воспроизводимой «живой» статьей, позволяющей проводить совместные исследования в области многокритериальной автонастройки и методов машинного обучения. [4]
- IBM использует CK для воспроизведения квантовых результатов природы [14]
- CK используется для автоматизации теста MLPerf. [15] [16]
Портативный менеджер пакетов для портативных рабочих процессов
[ редактировать ]CK имеет интегрированный кросс-платформенный менеджер пакетов со сценариями Python , JSON API и JSON для автоматического восстановления программной среды на пользовательском компьютере, необходимой для запуска определенного рабочего процесса исследования. метаописанием [17]
Воспроизводимость экспериментов
[ редактировать ]CK обеспечивает воспроизводимость экспериментальных результатов посредством участия сообщества, аналогично Википедии и физике . Всякий раз, когда новый рабочий процесс со всеми компонентами публикуется через GitHub, любой может попробовать его на другом компьютере, в другой среде и с использованием немного других вариантов (компиляторов, библиотек, наборов данных). Всякий раз, когда встречается неожиданное или неправильное поведение, сообщество объясняет его, исправляет компоненты и делится ими, как описано в разделе . [4]
Ссылки
[ редактировать ]- ^ Пакет CK в PYPI
- ^ Jump up to: а б Фурсин, Григорий (29 марта 2021 г.). Коллективные знания: организация исследовательских проектов в виде базы данных многократно используемых компонентов и переносимых рабочих процессов с общими API . Философские труды Королевского общества . arXiv : 2011.01149 . дои : 10.1098/rsta.2020.0211 .
- ^ Многоразовые компоненты и действия CK для автоматизации распространенных исследовательских задач.
- ^ Jump up to: а б с Живая статья с воспроизводимыми экспериментами, позволяющая проводить совместные исследования в области многокритериальной автонастройки и методов машинного обучения.
- ^ Онлайн-репозиторий с воспроизведенными результатами
- ^ Указатель репродуцированных статей
- ^ Эд Плауман; Григорий Фурсин, презентация ARM TechCon'16 «Знай свои рабочие нагрузки: проектируй более эффективные системы!»
- ^ Оценка артефактов для конференций по системам и машинному обучению
- ^ ACM TechTalk о воспроизведении 150 исследовательских работ и их проверке в реальном мире
- ^ Проект ЕС TETRACOM по объединению CK и CLSmith (PDF) , заархивировано из оригинала (PDF) 5 марта 2017 г. , получено 15 сентября 2016 г.
- ^ Воспроизведение оценки артефакта для «Предварительной выборки программного обеспечения для непрямого доступа к памяти», CGO 2017, с использованием CK , 16 октября 2022 г.
- ^ Веб-сайт разработки GitHub для Caffe на базе CK , 11 октября 2022 г.
- ^ Приложение Android с открытым исходным кодом, позволяющее сообществу участвовать в совместном тестировании и оптимизации различных библиотек и моделей DNN.
- ^ Воспроизведение квантовых результатов природы – насколько это может быть сложно?
- ^ Крауд-бенчмаркинг MLPerf
- ^ Руководство по автоматизации тестов вывода MLPerf , 17 октября 2022 г.
- ^ Список общих пакетов CK
Внешние ссылки
[ редактировать ]- Сайт разработки: [1]
- Документация: [2]
- Публичный репозиторий с краудсорсинговыми экспериментами: [3]
- Международный семинар по адаптивным самонастраивающимся вычислительным системам (ADAPT) использует CK для обеспечения публичного обзора публикаций и артефактов через Reddit : [4]
