Список наборов данных для исследований в области машинного обучения

Эта статья содержит динамические списки , которые, возможно, никогда не смогут соответствовать определенным стандартам полноты. Вы можете помочь, добавив недостающие элементы из надежных источников .

Эти наборы данных используются в исследованиях машинного обучения (ML) и цитируются в рецензируемых научных журналах . Наборы данных являются неотъемлемой частью области машинного обучения. Крупные достижения в этой области могут быть результатом достижений в алгоритмах обучения (таких как глубокое обучение ), компьютерного оборудования и, что менее интуитивно понятно, доступности высококачественных наборов обучающих данных. Высококачественные помеченные наборы обучающих данных для контролируемых и полуконтролируемых машинного обучения алгоритмов обычно сложно и дорого создавать из-за большого количества времени, необходимого для маркировки данных. Хотя их не нужно маркировать, создание высококачественных наборов данных для обучения без учителя также может быть трудным и дорогостоящим.

Многие организации, включая правительства, публикуют и делятся своими наборами данных . Наборы данных классифицируются в зависимости от лицензий на открытые данные и неоткрытые данные .

Наборы данных различных государственных органов представлены в Списке открытых сайтов государственных данных . Наборы данных портируются на порталы открытых данных . Они доступны для поиска, размещения и доступа через такие интерфейсы, как Open API . Наборы данных доступны в различных отсортированных типах и подтипах.

Список сортировок, используемых для наборов данных

Тип	Подтипы
Конкретная категория	Финансы , экономика , торговля , социальная сфера , здравоохранение , академия , спорт , еда , сельское хозяйство , путешествия , геопространственные , политические , потребительские товары , транспорт , логистика , окружающая среда , недвижимость , юридические , развлечения , энергетика , гостиничный бизнес
Объем	Наднациональный Союз , Национальный , Субнациональный , Муниципальный , Городской , Сельский
Язык	Китайский , испанский , английский , арабский , хинди , бенгали
Тип	Табличный , график , текст , изображение , звук , видео
Использование	Обучение, проверка и тестирование
Форматы файлов	CSV , JSON , XML , KML , GeoJSON , шейп-файл , GML
Лицензии	Creative-Commons , GPL , другие на закрытые данные лицензии
Последнее обновление	Последний час, последний день, последняя неделя, последний месяц, последний год
Размер файла	Минимум, Максимум, Диапазон
Статус	Проверено, находится в стадии подготовки, деактивировано (или устарело)
Количество записей	100, 1000, 10 000, 100 000, миллионы
Количество переменных	Менее 10, 10, 100, 1000, 10000
Услуги	Индивидуальный, Агрегированный

Портал данных классифицируется в зависимости от типа лицензии. Порталы данных с открытым исходным кодом на основе лицензий известны как порталы открытых данных , которые используются многими правительственными организациями и академическими учреждениями .

Список порталов открытых данных

См. также: Портал открытых данных.

Имя портала	Лицензия	Список установок портала	Типичное использование
Комплексная сеть архивов знаний ( CKAN )	АГПЛ	https://ckan.github.io/ckan-instances/ https://github.com/sebneu/ckan_instances/blob/master/instances.csv	Репозиторий данных для государственных или некоммерческих организаций, решение для управления данными для исследовательских институтов
ДЭН	лицензия GPL	https://getdkan.org/community	Репозиторий данных для государственных или некоммерческих организаций, решение для управления данными для исследовательских институтов
Вселенная данных	Апач	https://dataverse.org/installations https://dataverse.org/metrics	Решение для управления данными для научно-исследовательских институтов
DSpace	БСД	https://registry.lyrasis.org/	Решение для управления данными для научно-исследовательских институтов
OpenML	БСД	https://www.openml.org/search?type=data&sort=runs&status=active	Решение для управления данными для обмена наборами данных, алгоритмами и результатами экспериментов через API.

Список порталов, подходящих для нескольких типов приложений

См. также: машинное обучение

Портал данных иногда перечисляет самые разнообразные подтипы наборов данных, относящиеся ко многим приложениям машинного обучения .

Академические торренты	https://academictorrents.com
Наборы данных Amazon	https://registry.opendata.aws/
Потрясающая коллекция общедоступных наборов данных	https://github.com/awesomedata/awesome-public-datasets
data.world	https://data.world/datasets/machine-learning
Datahub – основные наборы данных	https://datahub.io/docs/core-data
DataONE	https://www.dataone.org/
Порталы данных	https://dataportals.org/
Datasetlist.com	https://www.datasetlist.com
Глобальный индекс открытых данных – Фонд открытых знаний	https://index.okfn.org/ Архивировано 25 мая 2020 г. в Wayback Machine.
Поиск набора данных Google	https://datasetsearch.research.google.com/
Обнимающее лицо	https://huggingface.co/docs/datasets/
Обмен данными IBM	https://developer.ibm.com/exchanges/data/
Jupyter — Учебные данные	https://jupyter-tutorial.readthedocs.io/en/latest/data-processing/opendata.html
Каггл	https://www.kaggle.com/datasets
Наборы данных машинного обучения	https://macgence.com/data-sets-and-cataloges/
Крупные умные города с открытыми данными	https://rlist.io/l/major-smart-cities-with-open-data-portals
Наборы данных Microsoft	https://msropendata.com/datasets
Начало открытых данных	https://opendatainception.io/
Opendatasoft	https://data.opendatasoft.com/explore/dataset/open-data-sources%40public/table/?sort=code_en
OpenDOAR	https://v2.sherpa.ac.uk/opendoar/
OpenML	https://www.openml.org/search?type=data
Документы с кодом	https://paperswithcode.com/datasets
Тесты машинного обучения Penn	https://github.com/EpistasisLab/pmlb/tree/master/datasets
Публичные API	https://github.com/public-apis/public-apis
Реестр репозиториев открытого доступа	http://roar.eprints.org/
Реестр хранилищ данных исследований	https://www.re3data.org/
Репозиторий машинного обучения UCI	http://mlr.cs.umass.edu/ml/ Архивировано 26 июня 2020 г. в Wayback Machine.
Речевой набор данных	https://www.shaip.com/offerings/speech-data-catalog/
Визуальное обнаружение данных	https://visualdata.io/discovery

Список порталов, подходящих для конкретного подтипа приложений

См. также: Машинное обучение

Порталы данных, подходящие для определенного подтипа приложения машинного обучения, перечислены в последующих разделах.

Данные изображения

Основная статья: Список наборов данных в области компьютерного зрения и обработки изображений

Текстовые данные

Эти наборы данных состоят в основном из текста для таких задач, как обработка естественного языка , анализ настроений , перевод и кластерный анализ .

Отзывы

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Амазонские обзоры	Обзоры продуктов в США на Amazon.com .	Никто.	233,1 миллиона	Текст	Классификация, анализ настроений	2015 (2018)		Маколи и др.
Набор данных обзора OpinRank	Обзоры автомобилей и отелей на Edmunds.com и TripAdvisor соответственно.	Никто.	42 230 / ~ 259 000 соответственно	Текст	Анализ настроений, кластеризация	2011		К. Ганесан и др.
КиноОбъектив	22 000 000 оценок и 580 000 тегов присвоены 33 000 фильмам 240 000 пользователей.	Никто.	~22 млн.	Текст	Регрессия, кластеризация, классификация	2016		Группа исследований линз
Yahoo! Музыкальные рейтинги музыкальных исполнителей	Более 10 миллионов оценок исполнителей от пользователей Yahoo.	Ничего не описано.	~ 10М	Текст	Кластеризация, регрессия	2004		Yahoo!
Набор данных для оценки автомобиля	Свойства автомобилей и их общая приемлемость.	Даны шесть категориальных признаков.	1728	Текст	Классификация	1997		М. Боханец
Набор данных о предпочтениях YouTube Comedy Slam	Данные голосования пользователей за пары видеороликов, показанных на YouTube. Пользователи голосовали за более смешные видео.	Метаданные видео предоставлены.	1,138,562	Текст	Классификация	2012		Google
Набор данных отзывов пользователей Skytrax	Отзывы пользователей об авиакомпаниях, аэропортах, местах и ​​залах ожидания от Skytrax.	Рейтинги являются детальными и включают в себя множество аспектов опыта работы в аэропорту.	41396	Текст	Классификация, регрессия	2015		К. Нгуен
Набор данных для оценки помощника преподавателя	Отзывы помощника преподавателя.	Приведены характеристики каждого экземпляра, такие как класс, размер класса и инструктор.	151	Текст	Классификация	1997		В. Лох и др.
Корпус отзывов вьетнамских студентов (UIT-VSFC)	Отзывы студентов.	Комментарии	16,000	Текст	Классификация	1997		Нгуен и др.
Вьетнамский корпус эмоций в социальных сетях (UIT-VSMEC)	Комментарии пользователей Facebook.	Комментарии	6,927	Текст	Классификация	1997		Нгуен и др.
Вьетнамский набор данных для обнаружения жалоб в открытом домене (ViOCD)	Отзывы клиентов о продукции	Комментарии	5,485	Текст	Классификация	2021		Нгуен и др.
ViHOS: вьетнамцы выявляют разжигание ненависти	Тексты в социальных сетях	Комментарии	Содержит 26 тысяч промежутков на 11 тысяч комментариев.	Текст	Обнаружение диапазона	2021		Хоанг и др.

Новостные статьи

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных NYSK	Английские новостные статьи о деле, касающемся обвинений в сексуальном насилии против бывшего МВФ директора Доминика Стросс-Кана .	Отфильтровано и представлено в формате XML.	10,421	XML, текст	Анализ настроений, извлечение тем	2013		Дермуш М. и др.
Корпус Reuters, том 1	Большой корпус Reuters новостей на английском языке.	Детальная категоризация и коды тем.	810,000	Текст	Классификация, кластеризация, обобщение	2002		Рейтер
Корпус Reuters, том 2	Большой корпус Reuters новостей на нескольких языках.	Детальная категоризация и коды тем.	487,000	Текст	Классификация, кластеризация, обобщение	2005		Рейтер
Коллекция текстовых исследований Thomson Reuters	Большой корпус новостей.	Подробности не описаны.	1,800,370	Текст	Классификация, кластеризация, обобщение	2009		Т. Роуз и др.
Корпус газет Саудовской Аравии	31 030 статей в арабских газетах.	Метаданные извлечены.	31,030	JSON	Обобщение, кластеризация	2015		М. Альхагри
RE3D (набор данных для оценки извлечения связей и сущностей)	Entity и Relation маркируют данные из различных новостных и правительственных источников. При поддержке Dstl	Фильтрация, категоризация с использованием типов уса.	не известно	JSON	Классификация, распознавание сущностей и отношений	2017		Дстл
Examiner Каталог спама-кликбейта	Кликбейт, спам, краудсорсинговые заголовки с 2010 по 2015 год.	Дата публикации и заголовки	3,089,781	CSV-файл	Кластеризация, События, Настроения	2016		Р. Кулкарни
ABC Корпус новостей Australia	Весь корпус новостей ABC Australia с 2003 по 2019 год.	Дата публикации и заголовки	1,186,018	CSV-файл	Кластеризация, События, Настроения	2020		Р. Кулкарни
Мировые новости – совокупность 20 тысяч каналов	Снимок всех онлайн-заголовков за неделю на более чем 20 языках.	Время публикации, URL и заголовки	1,398,431	CSV-файл	Кластеризация, события, определение языка	2018		Р. Кулкарни
Reuters Заголовок новостей	11 лет событий с временными метками, опубликованных в новостной ленте	Время публикации, текст заголовка	16,121,310	CSV-файл	НЛП, Компьютерная лингвистика, События	2018		Р. Кулкарни
The Irish Times Корпус новостей Ирландии	24 года новостей Ирландии с 1996 по 2019 год	Время публикации, категория заголовка и текст	1,484,340	CSV-файл	НЛП, Компьютерная лингвистика, События	2020		Р. Кулкарни
Набор данных заголовков новостей для обнаружения сарказма	Высококачественный набор данных с саркастическими и несаркастическими заголовками новостей.	Чистый, нормализованный текст	26,709	JSON	НЛП, Классификация, Лингвистика	2018		Ришаб Мишра

Сообщения

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных электронной почты Enron	Электронные письма от сотрудников Enron упорядочены по папкам.	Вложения удалены, недействительные адреса электронной почты преобразованы в [email protected] или [email protected] .	~ 500,000	Текст	Сетевой анализ , анализ настроений	2004 (2015)		Климт Б. и Ю. Ян
Набор данных линг-спама	Корпус, содержащий как легальные, так и спам -сообщения.	Четыре версии корпуса, определяющие, ли лемматизатор включен или стоп-лист.	2,412 Ему 481 Спам	Текст	Классификация	2000		Анрутсопулос Дж. и др.
Набор данных для сбора SMS-спама	Сбор SMS-спама.	Никто.	5,574	Текст	Классификация	2011		Т. Алмейда и др.
Набор данных двадцати групп новостей	Сообщения из 20 различных групп новостей.	Никто.	20,000	Текст	Обработка естественного языка	1999		Т. Митчелл и др.
Набор данных базы спама	Спам-письма.	Извлечено множество текстовых функций.	4,601	Текст	Обнаружение спама, классификация	1999		М. Хопкинс и др.

Твиттер и твиты

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
КиноТвиты	Набор данных о рейтингах фильмов, основанный на публичных и хорошо структурированных твитах.		~710,000	Текст	Классификация, регрессия	2018		С. Думс
Твиттер100 тыс.	Пары изображений и твитов		100,000	Текст и изображения	Межмедийный поиск	2017		Ю. Ху и др.
Чувство140	Данные твитов за 2009 год, включая исходный текст, отметку времени, пользователя и тональность.	Засекречено с использованием дистанционного наблюдения по наличию смайлика в твите.	1,578,627	Твиты, запятая, разделенные значения	Анализ настроений	2009		А. Го и др.
Набор данных ASU Twitter	Данные сети Twitter, а не реальные твиты. Показывает связи между большим количеством пользователей.	Никто.	11 316 811 пользователей, 85 331 846 подключений	Текст	Кластеризация, графовый анализ	2009		Р. Зафарани и др.
Социальные круги SNAP: база данных Twitter	Большие данные сети Twitter.	Особенности узлов, круги и эго-сети.	1,768,149	Текст	Кластеризация, графовый анализ	2012		Дж. Маколи и др.
Набор данных Twitter для анализа настроений на арабском языке	Арабские твиты.	Образцы вручную помечаются как положительные или отрицательные.	2000	Текст	Классификация	2014		Н. Абдулла
Ажиотаж в наборе данных социальных сетей	Данные из Twitter и Tom's Hardware. Этот набор данных посвящен конкретным темам, обсуждаемым на этих сайтах.	Данные представлены в виде окна, поэтому пользователь может попытаться предсказать события, которые приведут к ажиотажу в социальных сетях.	140,000	Текст	Регрессия, Классификация	2013		Ф. Кавала и др.
Парафраз и семантическое сходство в Твиттере (PIT)	Этот набор данных фокусируется на том, имеют ли твиты (почти) одинаковое значение/информацию или нет. Маркировка вручную.	токенизация, тегирование частей речи и именованных объектов	18,762	Текст	Регрессия, Классификация	2015		Сюй и др.
Набор контрольных данных Geoparse Twitter	Этот набор данных содержит твиты во время различных новостных мероприятий в разных странах. Упоминания местоположения, помеченные вручную.	аннотации местоположения добавлены в метаданные JSON	6,386	Твиты, JSON	Классификация, извлечение информации	2014		С.Э. Миддлтон и др.
Сарказм, воспринимаемый и преднамеренный, методом реактивного надзора (SPIRS)	Намеренные и воспринимаемые саркастические твиты вместе с их контекстом, собранные с использованием реактивного надзора; равное количество отрицательных (несаркастических) образцов		30,000	Идентификаторы твитов, CSV	Классификация	2020		Б. Шмуэли и др.
Голландская коллекция социальных сетей	Этот набор данных содержит твиты о COVID-19, написанные носителями голландского языка или пользователями из Нидерландов. Данные были помечены машиной	классифицировано по настроению, тексту твита и описанию пользователя, переведенному на английский язык. Упоминания отрасли извлечены	271,342	JSONL	Настроения, классификация по нескольким меткам, машинный перевод	2020		Ааакш Гупта, CoronaWhy
Набор данных ReactionGIF	Набор данных из 30 тысяч твитов и их реакций в формате GIF.	Классифицируется по настроениям, реакциям и эмоциям.	30,000	Идентификаторы твитов, JSONL	Классифицируется по настроениям, реакциям и эмоциям.	2021		Б. Шмуэли и др.

Диалоги

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Корпус чата NPS	Сообщения из возрастных онлайн-чатов.	Конфиденциальность рук замаскирована, отмечена часть речи и диалоговый акт.	~ 500,000	XML	НЛП, программирование, лингвистика	2007		Форсайт Э., Лин Дж. и Мартелл К.
Тройной корпус Твиттера	Тройки ABA взяты из Twitter.		4,232	Текст	НЛП	2016		Сордини А. и др.
Корпус UseNet	Сообщения на форуме UseNet.	Анонимные электронные письма и URL-адреса. Пропущены документы длиной менее 500 слов или > 500 000 слов или менее 90 % английского языка.	7 миллиардов	Текст		2011		Шауль К. и Вестбери К.
SMS-корпус НУС	SMS-сообщения, собранные между двумя пользователями, с временным анализом.		~ 10,000	XML	НЛП	2011		ГДЕ, М
Reddit Все комментарии Корпус	Все комментарии Reddit (по состоянию на 2015 год).		~ 1,7 миллиарда	JSON	НЛП, исследования	2015		Застрял_В_Матрице
Корпус диалогов Ubuntu	Диалоги извлечены из чата Ubuntu в IRC.		930 тысяч диалогов, 7,1 миллиона высказываний	CSV-файл	Исследование диалоговых систем	2015		Лоу, Р. и др.
Задача отслеживания состояния диалогового окна	Задачи отслеживания состояния диалога 2 и 3 (DSTC2 и 3) представляли собой исследовательскую задачу, направленную на улучшение современного состояния систем отслеживания состояния разговорных диалогов.	Транскрипция устных диалогов с маркировкой	DSTC2 содержит ~3,2 тыс. вызовов – DSTC3 содержит ~2,3 тыс. вызовов	Json	Отслеживание состояния диалога	2014		Хендерсон, Мэтью и Томсон, Блейз и Уильямс, Джейсон Д.

Юридический

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Свободное право	Отфильтрованные данные из Court Listener, части проекта FreeLaw.	Очищенный и нормализованный текст	4,940,710	Json	НЛП, лингвистика	2020		Т. Хоппе
Куча закона	Корпус юридических и административных данных	Очищено, нормализовано и приватизировано	~50,000,000	Json	НЛП, лингвистика, сантименты	2022		Л. Чжэн; Н. Гуха; Б. Андерсон; П. Хендерсон; Д. Хо
Проект доступа к судебным делам	Вся официальная, опубликованная в книгах прецедентная практика штата и федерального правительства США — каждый том или дело, обозначенное как официальный отчет о решениях суда на территории Соединенных Штатов.	Очищенный и нормализованный текст	~10,000	Json	НЛП, лингвистика	2022		А. Айзман; С. Чепмен; Дж. Кушман; К. Дулин; Х. Эйдолон; и др.

Другой текст

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных Web of Science	Иерархические наборы данных для классификации текста	Никто.	46,985	Текст	Классификация, Категоризация	2017		К. Ковсари и др.
Отчеты о судебных делах	Дела Федерального суда Австралии с 2006 по 2009 год.	Никто.	4,000	Текст	Подведение итогов, анализ цитирования	2012		Ф. Гальгани и др.
Корпус авторства блоггеров	Записи в блогах 19 320 человек с сайта blogger.com.	Блогер самостоятельно указал пол, возраст, сферу деятельности и астрологический знак.	681,288	Текст	Анализ настроений, обобщение, классификация	2006		Дж. Шлер и др.
Социальная структура сетей Facebook	Большой набор данных о социальной структуре Facebook.	Никто.	охвачено 100 колледжей	Текст	Сетевой анализ, кластеризация	2012		А. Трауд и др.
Набор данных для машинного понимания текста	Истории и сопутствующие вопросы для проверки понимания текста.	Никто.	660	Текст	Обработка естественного языка, машинное понимание	2013		М. Ричардсон и др.
Проект Пенн-Трибанк	Естественно встречающийся текст, аннотированный по языковой структуре.	Текст разбивается на семантические деревья.	~ 1 млн слов	Текст	Обработка естественного языка, обобщение	1995		М. Маркус и др.
Набор данных ДЭКСТЕР	Задача состоит в том, чтобы по приведенным признакам определить, какие статьи посвящены корпоративным приобретениям.	Извлеченные особенности включают основы слов. Включены функции отвлечения.	2600	Текст	Классификация	2008		Рейтер
Google Книги	N-граммы из очень большого корпуса книг	Никто.	2,2 ТБ текста	Текст	Классификация, кластеризация, регрессия	2011		Google
Тело человека	Собрано для экспериментов по атрибуции авторства и прогнозированию личности. Состоит из 145 эссе на голландском языке.	Помимо обычных текстов приводятся синтаксически размеченные тексты.	145	Текст	Классификация, регрессия	2008		К. Люйкс и др.
НажмитеShift	Архивы сайтов социальных сетей, включая Reddit , Twitter и Hackernews .	Текст извлечен и нормализован из WARC	~100 000 000 сообщений	Json	НЛП, сантименты, лингвистика	2022		Дж. Баумгартнер
Документы SEC	ЭДГАР | Документы компании	Текст извлечен.		csv	НЛП
Набор данных CNAE-9	Задача категоризации свободных текстовых описаний бразильских компаний.	Частота слов была извлечена.	1080	Текст	Классификация	2012		П. Сиарелли и др.
Набор данных предложений с маркировкой настроений	3000 настроений, помеченных предложениями.	Настроение каждого предложения было вручную помечено как положительное или отрицательное.	3000	Текст	Классификация, анализ настроений	2015		Д. Коциас
Набор данных обратной связи блога	Набор данных для прогнозирования количества комментариев, которые получит сообщение, на основе особенностей этого сообщения.	Извлечено множество особенностей каждого поста.	60,021	Текст	Регрессия	2014		К. Губа
ПабМед Централ	PubMed® включает более 35 миллионов ссылок на биомедицинскую литературу из MEDLINE, журналов по наукам о жизни и онлайн-книг.	Никто	35 миллионов	Текст	НЛП
ВПТЗ США	Ведомство США по патентам и товарным знакам			Текст	НЛП
Филпаперс	Коллекция публикаций по философии в открытом доступе			Текст	НЛП
Книжный корпус	Популярный крупномасштабный текстовый корпус.	Никто		Текст	НЛП	2015		Чжу, Юкунь и др.
Стэнфордский корпус вывода естественного языка (SNLI)	Подписи к изображениям сочетались с вновь построенными предложениями, образуя пары следствий, противоречий или нейтральных пар.	Метки классов Entailment, синтаксический анализ с помощью парсера Stanford PCFG.	570,000	Текст	Вывод на естественном языке/распознавание текстовых последствий	2015		С. Боуман и др.
Коллекция корпусов DSL (DSLCC)	Многоязычный сборник коротких отрывков публицистических текстов на близких языках и диалектах.	Никто	294 000 фраз	Текст	Различение похожих языков	2017		И Лилинг и др.
городского словаря Набор данных	Корпус слов, голосов и определений	Имена пользователей анонимизированы	2,580,925	CSV-файл	НЛП, Машинное понимание	2016 май		Анонимный
Т-РЕкс	Рефераты Википедии, соответствующие Викиданных объектам	Согласование троек Викиданных с рефератами Википедии	11M выровненных троек	JSON и NIF [4]	НЛП, Извлечение отношений	2018		Х. Эльсахар и др.
Общая оценка понимания языка (GLUE)	Тест из девяти задач	Различный	~1 млн предложений и пар предложений		НЛУ	2018		Ван и др.
Понимание контрактов Набор данных Atticus (CUAD) (ранее известный как Набор данных открытого контракта Atticus (AOK))	Набор данных юридических контрактов с обширными экспертными аннотациями		~13 000 этикеток	CSV и PDF	Обработка естественного языка, QnA	2021		Проект Аттикус
Набор данных подписей к изображениям на вьетнамском языке (UIT-ViIC)	Набор данных для подписей к изображениям на вьетнамском языке		19 250 подписей к 3 850 изображениям	CSV и PDF	Обработка естественного языка, Компьютерное зрение	2020		Лам и др.
Вьетнамские имена с указанием пола (UIT-ViNames)	Вьетнамские имена с указанием пола		26 850 полных имен на вьетнамском языке с указанием пола.	CSV-файл	Обработка естественного языка	2020		Два и др.
Набор данных для обнаружения конструктивной и токсичной речи на вьетнамском языке (UIT-ViCTSD)	Набор данных для обнаружения конструктивной и токсичной речи на вьетнамском языке		10 000 комментариев вьетнамских пользователей к интернет-газетам на 10 доменах.	CSV-файл	Обработка естественного языка	2021		Нгуен и др.
PG-19	Набор книг, извлеченных из книжной библиотеки Project Gutenberg.			Текст	Обработка естественного языка	2019		Джек В. и др.
Глубокая математика	Математические пары вопросов и ответов.			Текст	Обработка естественного языка	2018		Д. Сакстон и др.
Архив Анны	Полный архив опубликованных книг и статей.	Никто	100,356,641	Текст, epub, PDF	Обработка естественного языка	2024

Звуковые данные

Эти наборы данных состоят из звуков и звуковых характеристик, используемых для таких задач, как распознавание и синтез речи .

Речь

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Конкурс речи с нулевыми ресурсами 2015 года	Спонтанная речь (английский), Чтение речи (Сицонга).	Нет, необработанные файлы WAV.	Английский: 5 часов, 12 носителей; Ситсонга: 2 часа 30 минут, 24 динамика	WAV (только аудио)	Неконтролируемое обнаружение особенностей речи/единиц подслов/единиц слов	2015		Верстиг и др.
Набор речевых данных Паркинсона	Множественные записи людей с болезнью Паркинсона и без нее.	Извлечены особенности голоса, болезнь оценена врачом с использованием единой шкалы оценки болезни Паркинсона .	1,040	Текст	Классификация, регрессия	2013		Б.Е. Сакар и др.
Разговорные арабские цифры	Разговорные арабские цифры от 44 мужчин и 44 женщин.	Временные ряды мел-частотных коэффициентов кепстра.	8,800	Текст	Классификация	2010		М. Бедда и др.
Набор данных ISOLET	Разговорные названия букв.	Особенности, извлеченные из звуков.	7797	Текст	Классификация	1994		Р. Коул и др.
Набор данных японских гласных	Девять носителей мужского пола последовательно произнесли две японские гласные.	Применил к нему 12-градусный анализ линейного прогнозирования, чтобы получить дискретный временной ряд с 12 кепстральными коэффициентами.	640	Текст	Классификация	1999		М. Кудо и др.
Набор данных телемониторинга Паркинсона	Множественные записи людей с болезнью Паркинсона и без нее.	Звуковые особенности извлечены.	5875	Текст	Классификация	2009		А. Цанас и др.
ТИОН	Записи 630 носителей восьми основных диалектов американского английского, каждый из которых читает десять фонетически богатых предложений.	Речь лексически и фонематически транскрибируется.	6300	Текст	Распознавание речи, классификация.	1986		Дж. Гарофоло и др.
Корпус арабской речи	(MSA) для одного говорящего Речевой корпус современного стандартного арабского языка с фонетическими и орфографическими расшифровками, согласованными с уровнем фонем.	Речь орфографически и фонетически транскрибируется со знаками ударения.	~1900	Текст, WAV	Синтез речи, распознавание речи, выравнивание корпуса, логопедия, образование.	2016		Н. Халаби
Общий голос	Общедоступная база данных краудсорсинговых данных на широком спектре диалектов.	Проверка другими пользователями.	Английский: 1118 часов	MP3 с соответствующими текстовыми файлами	Распознавание речи	июнь 2017 г. (декабрь 2019 г.)		Мозилла
LJРечь	Сборник аудиокниг , являющихся общественным достоянием, на английском языке , разделенных на короткие отрывки знаками препинания.	Проверка качества, нормализация транскрипции рядом с оригиналом.	13,100	CSV, WAV	Синтез речи	2017		Кит Ито, Линда Джонсон
Набор данных арабских речевых команд	Собрано от 30 участников и сгруппировано по 40 ключевым словам.	Необработанные файлы WAV	12,000	WAV, CSV	Распознавание речи, определение ключевых слов	2021		Абдулкадер Гандура

Музыка

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Географическое происхождение набора музыкальных данных	Аудио особенности музыкальных сэмплов из разных мест.	Аудио функции, извлеченные с помощью программного обеспечения MARSYAS.	1,059	Текст	Географическая классификация, кластеризация	2014		Ф. Чжоу и др.
Набор данных «Миллион песен»	Аудио функции из миллиона разных песен.	Аудио функции извлечены.	1М	Текст	Классификация, кластеризация	2011		Т. Бертен-Маье и др.
MUSDB18	Многодорожечные записи популярной музыки	Необработанный звук	150	MP4, WAV	Разделение источников	2017		З. Рафии и др.
Бесплатный музыкальный архив	Аудио под Creative Commons из 100 тысяч песен (343 дня, 1 ТиБ) с иерархией из 161 жанра, метаданными, пользовательскими данными, текстом в произвольной форме.	Необработанный звук и аудиофункции.	106,574	Текст, MP3	Классификация, рекомендации	2017		М. Дефферрард и др.
Набор данных хоровой гармонии Баха	Хоральные аккорды Баха.	Аудио функции извлечены.	5665	Текст	Классификация	2014		Д. Радичиони и др.

Другие звуки

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
UrbanSound	Маркированные звукозаписи звуков, таких как работа кондиционера, автомобильные гудки и игра детей.	Сортировка по папкам по классам событий, а также метаданные в файле JSON и аннотации в файле CSV.	1,059	Звук ( ВАВ )	Классификация	2014		Дж. Саламон и др.
АудиоСет	10-секундные звуковые фрагменты из видеороликов YouTube и онтология из более чем 500 ярлыков.	128-мерный PCA в стиле VGG воспроизводится каждые 1 секунду.	2,084,320	Текстовые (CSV) и файлы записей TensorFlow.	Классификация	2017		Дж. Геммеке и др., Google
Задача обнаружения звука птиц	Звук со станций мониторинга окружающей среды, а также краудсорсинговые записи		17,000+		Классификация	2016 (2018)		Университет Королевы Марии и Общество обработки сигналов IEEE
Хипстерские эмбиентные смеси WSJ0	Звук с WSJ0, смешанный с шумом, записанный в районе залива Сан-Франциско.	Шумовые клипы, соответствующие клипам WSJ0.	28,000	Звук ( WAV )	Разделение источников звука	2019		Вичерн Г. и др., Whisper and MERL.
ткань	4981 аудиосэмпл длиной от 15 до 30 секунд, каждый аудиосэмпл имеет пять разных подписей длиной от 8 до 20 слов.		24,905	Звук ( WAV ) и текст ( CSV )	Автоматизированные аудио субтитры	2020		К. Дроссос, С. Липпинг и Т. Виртанен

Данные сигнала

Наборы данных, содержащие информацию об электрическом сигнале, требующую какой-либо обработки сигнала для дальнейшего анализа.

Электрический

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных остроумного червя	Набор данных, подробно описывающий распространение червя Witty и зараженных компьютеров.	Разделить на общедоступный набор и ограниченный набор, содержащий более конфиденциальную информацию, такую ​​​​как заголовки IP и UDP.	55 909 IP-адресов	Текст	Классификация	2004		Центр прикладного анализа интернет-данных
Набор данных для оценки артериального давления без манжеты	Очищенные жизненные сигналы пациентов-людей, которые можно использовать для оценки артериального давления.	Жизненно важные функции на частоте 125 Гц были очищены.	12,000	Текст	Классификация, регрессия	2015		М. Качуи и др.
Набор данных о дрейфе матрицы газовых датчиков	Измерения от 16 химических датчиков, используемых в моделировании для компенсации дрейфа.	Представлено большое количество функций.	13,910	Текст	Классификация	2012		А. Вергара
Набор данных сервопривода	Данные, охватывающие нелинейные зависимости, наблюдаемые в схеме сервоусилителя.	Приведены уровни различных компонентов в зависимости от других компонентов.	167	Текст	Регрессия	1993		К. Ульрих
Набор данных UJIIndoorLoc-Mag	База данных внутренней локализации для тестирования систем внутреннего позиционирования. Данные основаны на магнитном поле.	Даны разделения на обучение и тестирование.	40,000	Текст	Классификация, регрессия, кластеризация	2015		Д. Рамбла и др.
Набор данных диагностики бездатчикового привода	Электрические сигналы от двигателей с неисправными компонентами.	Извлечены статистические характеристики.	58,508	Текст	Классификация	2015		М. Батор

Отслеживание движения

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Носимые компьютеры: Классификация поз и движений тела (PUC-Рио)	Люди выполняют пять стандартных действий, используя трекеры движения.	Никто.	165,632	Текст	Классификация	2013		Папский католический университет Рио-де-Жанейро
Набор данных сегментации фазы жестов	Фрагменты, извлеченные из видео людей, делающих различные жесты.	Извлеченные особенности направлены на изучение сегментации фаз жестов.	9900	Текст	Классификация, кластеризация	2014		Р. Мадео и
Набор данных о физическом воздействии Vicon	10 нормальных и 10 агрессивных физических действий, измеряющих активность человека, отслеживаемых 3D-трекером.	Многие параметры фиксируются 3D трекером.	3000	Текст	Классификация	2011		Т. Теодоридис
Набор данных о ежедневных и спортивных мероприятиях	Данные датчика моторики для 19 ежедневных и спортивных занятий.	Имеется множество датчиков, предварительная обработка сигналов не производится.	9120	Текст	Классификация	2013		Б. Баршан и др.
Распознавание человеческой деятельности с использованием набора данных смартфонов	Данные гироскопа и акселерометра людей, носящих смартфоны и выполняющих обычные действия.	Выполняемые действия помечаются, все сигналы предварительно обрабатываются на предмет шума.	10,299	Текст	Классификация	2012		Дж. Рейес-Ортис и др.
Знаки австралийского языка жестов	Знаки австралийского языка жестов, снятые с помощью перчаток, отслеживающих движение.	Никто.	2565	Текст	Классификация	2002		М. Кадус
Упражнения по поднятию тяжестей контролируются с помощью инерционных измерительных приборов	Пять вариантов упражнения на сгибание рук на бицепс, контролируемые с помощью IMU.	Некоторые статистические данные рассчитаны на основе необработанных данных.	39,242	Текст	Классификация	2013		В. Угулино и др.
sEMG для базовых движений рук. Набор данных	Две базы данных поверхностных электромиографических сигналов 6 движений руки.	Никто.	3000	Текст	Классификация	2014		К. Сапсанис и др.
Набор данных распознавания действий REALDISP	Оценить методы борьбы с эффектами смещения датчиков при распознавании активности носимых устройств.	Никто.	1419	Текст	Классификация	2014		О. Банос и др.
Набор данных для распознавания гетерогенной активности	Данные с нескольких различных интеллектуальных устройств для людей, выполняющих различные действия.	Никто.	43,930,257	Текст	Классификация, кластеризация	2015		А. Стисен и др.
Прогноз движения пользователей внутри помещений на основе данных RSS	Временные данные беспроводной сети, которые можно использовать для отслеживания передвижения людей в офисе.	Никто.	13,197	Текст	Классификация	2016		Д. Баччу
Набор данных мониторинга физической активности PAMAP2	18 различных видов физической активности, выполняемых 9 субъектами, носящими 3 ИДУ.	Никто.	3,850,505	Текст	Классификация	2012		А. Рейсс
Набор данных для распознавания активности ВОЗМОЖНОСТИ	Распознавание человеческой деятельности с помощью носимых датчиков, датчиков предметов и окружающей среды — это набор данных, разработанный для сравнения алгоритмов распознавания человеческой деятельности.	Никто.	2551	Текст	Классификация	2012		Д. Рогген и др.
Набор данных для распознавания действий в реальном мире	Распознавание человеческой деятельности с носимых устройств. Различает семь положений устройства на теле и содержит шесть различных типов датчиков.	Никто.	3 150 000 (на датчик)	Текст	Классификация	2016		Т. Штайлер и др.
Набор данных позы после инсульта в Реабилитационном центре Торонто	3D-оценка позы человека (Kinect) пациентов, перенесших инсульт, и здоровых участников, выполняющих набор задач с использованием робота для реабилитации после инсульта.	Никто.	10 здоровых и 9 перенесших инсульт (3500–6000 кадров на человека)	CSV-файл	Классификация	2017		Э. Долатабади и др.
Корпус социальных контактов (CoST)	7805 снимков 14 различных социальных жестов, выполненных 31 субъектом. Жесты выполнялись в трех вариантах: нежном, нормальном и грубом, на сетке датчика давления, обернутой вокруг руки манекена.	Выполняемые сенсорные жесты сегментируются и помечаются.	7805 захватов жестов	CSV-файл	Классификация	2016		М. Юнг и др.

Другие сигналы

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных вина	Химический анализ вин, выращенных в одном регионе Италии, но полученных из трех разных сортов.	Приведены 13 свойств каждого вина.	178	Текст	Классификация, регрессия	1991		М. Форина и др.
Набор данных электростанции комбинированного цикла	Данные от различных датчиков на электростанции, работающей в течение 6 лет.	Никто	9568	Текст	Регрессия	2014		П. Туфекчи и др.

Физические данные

Наборы данных из физических систем.

Физика высоких энергий

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных ХИГГС	Моделирование столкновений ускорителей частиц методом Монте-Карло.	Приведены 28 особенностей каждого столкновения.	11М	Текст	Классификация	2014		Д. Уайтсон
Набор данных HEPMASS	Моделирование столкновений ускорителей частиц методом Монте-Карло. Цель — отделить сигнал от шума.	Приведены 28 особенностей каждого столкновения.	10,500,000	Текст	Классификация	2016		Д. Уайтсон

Системы

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных по гидродинамике яхты	Производительность яхты в зависимости от размеров.	Для каждой яхты дано шесть характеристик.	308	Текст	Регрессия	2013		Р. Лопес
Набор данных о сбоях выполнения робота	5 наборов данных, которые сосредоточены на неспособности роботов выполнять стандартные задачи.	Целочисленные функции, такие как крутящий момент и другие измерения датчика.	463	Текст	Классификация	1999		Л. Сибра и др.
Набор данных Питтсбургских мостов	Описание конструкции дано с точки зрения нескольких свойств различных мостов.	Приведены различные характеристики моста.	108	Текст	Классификация	1990		Ю. Райх и др.
Набор автомобильных данных	Данные об автомобилях, их страховом риске и нормированных убытках.	Извлечены характеристики автомобиля.	205	Текст	Регрессия	1987		Дж. Шиммер и др.
Набор данных Auto MPG	Данные MPG для автомобилей.	Приведены восемь особенностей каждого автомобиля.	398	Текст	Регрессия	1993		Университет Карнеги-Меллона
Набор данных по энергоэффективности	Требования к отоплению и охлаждению указаны в зависимости от параметров здания.	Указаны параметры здания.	768	Текст	Классификация, регрессия	2012		А. Ксифара и др.
Набор данных собственного шума профиля	Серия аэродинамических и акустических испытаний двух и трехмерных секций лопастей аэродинамического профиля.	Приводятся данные о частоте, угле атаки и т.д.	1503	Текст	Регрессия	2014		Р. Лопес
Набор данных об уплотнительных кольцах космического корабля Challenger USA	Попытайтесь спрогнозировать проблемы с уплотнительными кольцами, учитывая прошлые данные Challenger.	Приведены некоторые характеристики каждого полета, например, температура запуска.	23	Текст	Регрессия	1993		Д. Дрейпер и др.
Набор данных журнала статистики (Шаттл)	Наборы данных космического корабля НАСА.	Даны девять функций.	58,000	Текст	Классификация	2002		НАСА

Астрономия

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Вулканы на Венере - набор данных эксперимента JARtool	Изображения Венеры, полученные космическим кораблем Магеллан.	Изображения маркируются людьми.	не дано	Изображения	Классификация	1991		М. Берл
Набор данных гамма-телескопа MAGIC	Монте-Карло генерировал события с гамма-частицами высоких энергий.	Многочисленные функции, извлеченные из моделирования.	19,020	Текст	Классификация	2007		Р. Бок
Набор данных о солнечных вспышках	Измерения количества определенных типов солнечных вспышек, происходящих за 24 часа.	Приведены многие особенности солнечных вспышек.	1389	Текст	Регрессия, классификация	1989		Дж. Брэдшоу
Многополевой набор данных CAMELS	2D-карты и 3D-сетки на основе тысяч N-тел и современного гидродинамического моделирования, охватывающего широкий диапазон значений космологических и астрофизических параметров.	С каждой картой и сеткой связано 6 космологических и астрофизических параметров.	405 000 2D-карт и 405 000 3D-сеток	2D-карты и 3D-сетки	Регрессия	2021		Франсиско Вильяескуза-Наварро и др.

Науки о Земле

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Вулканы мира	Данные об извержениях вулканов для всех известных вулканических событий на Земле.	Приводятся такие подробности, как регион, субрегион, тектоническая обстановка, доминирующий тип горных пород.	1535	Текст	Регрессия, классификация	2013		Э. Венцке и др.
Набор данных сейсмических ударов	Сейсмическая активность на угольной шахте.	Сейсмическая активность классифицировалась как опасная или нет.	2584	Текст	Классификация	2013		М. Сикора и др.
ВЕРБЛЮДЫ - США	Набор данных по гидрологии водосбора с гидрометеорологическими временными рядами и различными атрибутами	см. ссылку	671	CSV, текст, шейп-файл	Регрессия	2017		Н. Аддор и др. / А. Ньюман и др.
ВЕРБЛЮДЫ-Чили	Набор данных по гидрологии водосбора с гидрометеорологическими временными рядами и различными атрибутами	см. ссылку	516	CSV, текст, шейп-файл	Регрессия	2018		К. Альварес-Гарретон и др.
ВЕРБЛЮДЫ-Бразилия	Набор данных по гидрологии водосбора с гидрометеорологическими временными рядами и различными атрибутами	см. ссылку	897	CSV, текст, шейп-файл	Регрессия	2020		V. Chagas et al.
ВЕРБЛЮДЫ-ГБ	Набор данных по гидрологии водосбора с гидрометеорологическими временными рядами и различными атрибутами	см. ссылку	671	CSV, текст, шейп-файл	Регрессия	2020		Г. Коксон и др.
ВЕРблюды-Австралия	Набор данных по гидрологии водосбора с гидрометеорологическими временными рядами и различными атрибутами	см. ссылку	222	CSV, текст, шейп-файл	Регрессия	2021		К. Фаулер и др.
OldH -CE	Набор данных по гидрологии водосбора с гидрометеорологическими временными рядами и различными атрибутами	см. ссылку	859	CSV, текст, шейп-файл	Регрессия	2021		К. Клинглер и др.

Другие физические

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных по прочности бетона на сжатие	Набор данных о свойствах бетона и прочности на сжатие.	Для каждого образца дано девять признаков.	1030	Текст	Регрессия	2007		Я. Да
Набор данных для испытаний на осадку бетона	Текучесть осадка бетона, заданная с точки зрения свойств.	Приведены характеристики бетона, такие как летучая зола, вода и т. д.	103	Текст	Регрессия	2009		Я. Да
Набор данных Маска	Предскажите, будет ли молекула, учитывая ее характеристики, мускусной или немускусной.	Для каждой молекулы дано 168 признаков.	6598	Текст	Классификация	1994		Аррис Фармасьютикал Корп.
Набор данных о повреждениях стальных пластин	Стальные пластины 7 разных видов.	Для каждого образца дано 27 признаков.	1941	Текст	Классификация	2010		Семенионовский научный центр
Наборы данных по монометаллическим наночастицам благородных металлов	Особенности переработки и строения монометаллических наночастиц, метки – энергия образования.	Для каждого образца дано 85-182 признака.	от 425 до 4000	CSV-файл	Регрессия	2017–2023 гг.		А. Барнард и Г. Оплетал
Наборы данных по биметаллическим наночастицам благородных металлов	Особенности переработки и строения биметаллических наночастиц, метки – энергия образования.	Для каждого образца дано 922 признака.	с 138147 по 162770	CSV-файл	Регрессия	2023		Дж. Тинг и др.
Набор данных по триметаллическим наночастицам AuPdPt	Технологические и структурные особенности наночастиц AuPdPt, меткой является энергия образования.	Для каждого образца дано 1958 характеристик.	48136	CSV-файл	Регрессия	2023		К. Лу и др.

Биологические данные

Наборы данных из биологических систем.

Человек

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных о возрасте	Структурированный набор данных общего назначения о жизни, работе и смерти 1,22 миллиона выдающихся людей. Общественное достояние.	Пятиэтапный метод определения года рождения и смерти, пола и рода занятий на основе данных, предоставленных сообществом во всех языковых версиях проекта Википедии.	1,223,009	Текст	Регрессия, Классификация	2022	Бумага Набор данных	Амораднежад и др.
Синтетический набор данных глазного дна	Фотореалистичные изображения сетчатки и сегментация сосудов. Общественное достояние.	2500 изображений размером 1500*1152 пикселей, полезных для сегментации и классификации вен и артерий на одном фоне.	2500	Изображения	Классификация, Сегментация	2020		К. Валенти и др.
База данных ЭЭГ	Исследование по изучению ЭЭГ-коррелятов генетической предрасположенности к алкоголизму.	Измерения с 64 электродов, помещенных на кожу головы, производились при частоте 256 Гц (период 3,9 мс) в течение 1 секунды.	122	Текст	Классификация	1999		Х. Компаньон
Набор данных интерфейса P300	Данные девяти субъектов собраны с использованием интерфейса «мозг-компьютер» на базе P300 для людей с ограниченными возможностями.	Разделить на четыре занятия по каждому предмету. MATLAB Дан код .	1,224	Текст	Классификация	2008		У. Хоффман и др.
Набор данных о сердечных заболеваниях	Приписывается больным с сердечно-сосудистыми заболеваниями и без них.	Для каждого пациента задано 75 атрибутов с некоторыми пропущенными значениями.	303	Текст	Классификация	1988		А. Янози и др.
Набор данных рака молочной железы, Висконсин (диагностика)	Набор данных особенностей образований молочной железы. Диагнозы ставит врач.	Приведено по 10 признаков для каждого образца.	569	Текст	Классификация	1995		В. Вольберг и др.
Национальное исследование по употреблению наркотиков и здоровью	Крупномасштабное исследование здоровья и употребления наркотиков в США.	Никто.	55,268	Текст	Классификация, регрессия	2012		Министерство здравоохранения и социальных служб США
Набор данных рака легких	Набор данных о раке легких без определений атрибутов	Для каждого случая дано 56 функций	32	Текст	Классификация	1992		З. Хонг и др.
Набор данных об аритмии	Данные для группы пациентов, из которых у части пациентов имеется сердечная аритмия.	276 функций для каждого экземпляра.	452	Текст	Классификация	1998		Х. Алтай и др.
Диабет 130 больниц США за 1999–2008 гг. Набор данных	Данные о повторной госпитализации пациентов с диабетом за 9 лет в 130 больницах США.	Приведены многие особенности каждой реадмиссии.	100,000	Текст	Классификация, кластеризация	2014		Дж. Клор и др.
Набор данных о диабетической ретинопатии в Дебрецене	Особенности, извлеченные из изображений глаз с диабетической ретинопатией и без нее.	Извлечены особенности и диагностированы состояния.	1151	Текст	Классификация	2014		Б. Антал и др.
Набор данных Мессидора о диабетической ретинопатии	Методы оценки методов сегментации и индексации в области офтальмологии сетчатки (MESSIDOR)	Особенности степени ретинопатии и риска макулярного отека	1200	Изображения, Текст	Классификация, Сегментация	2008		Проект Мессидор
Набор данных о заболеваниях печени	Данные для людей с заболеваниями печени.	Семь биологических особенностей приведены для каждого пациента.	345	Текст	Классификация	1990		Бупа Медицинские Исследования Лтд.
Набор данных о заболеваниях щитовидной железы	10 баз данных данных пациентов с заболеваниями щитовидной железы.	Никто.	7200	Текст	Классификация	1987		Р. Куинлан
Набор данных мезотелиомы	Данные пациентов с мезотелиомой.	Приведено большое количество особенностей, в том числе воздействие асбеста.	324	Текст	Классификация	2016		А. Танрикулу и др.
Набор данных для оценки позы Паркинсона на основе зрения	2D-оценка человеческой позы пациентов с болезнью Паркинсона, выполняющих различные задачи.	На траекториях убрано дрожание камеры.	134	Текст	Классификация, регрессия	2017		М. Ли и др.
Набор данных сети метаболических реакций KEGG (ненаправленный)	Сеть метаболических путей. реакционная сеть и сеть отношений Даны .	Приведены подробные характеристики каждого сетевого узла и пути.	65,554	Текст	Классификация, кластеризация, регрессия	2011		М. Наим и др.
Модифицированный набор данных анализа морфологии спермы человека (MHSMA)	Изображения спермы человека от 235 пациентов с мужским фактором бесплодия, с маркировкой нормальных или аномальных акросом, головки, вакуоли и хвоста сперматозоида.	Обрезано вокруг одиночной головки сперматозоида. Увеличение нормализовалось. Созданы разделения обучающего, валидационного и тестового наборов.	1,540	.npy-файлы	Классификация	2019		С. Джавади и С. А. Миррошандель

Животное

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных морского ушка	Физические измерения морского ушка. Также указаны погодные условия и местоположение.	Никто.	4177	Текст	Регрессия	1995		Лаборатории морских исследований - Таруна
Набор данных зоопарка	Набор искусственных данных, охватывающий 7 классов животных.	Животные разделены на 7 категорий и для каждой указаны особенности.	101	Текст	Классификация	1990		Р. Форсайт
Набор данных демоспонгий	Данные о морских губках.	503 губки класса Demosponge характеризуются различными признаками.	503	Текст	Классификация	2010		Э. Арменгол и др.
Данные о сельскохозяйственных животных	Инвентаризация данных PLF (коровы, свиньи; местоположение, ускорение и т. д.).	Маркированные наборы данных.	Список постоянно обновляется	Текст	Классификация	2020		В. Блох
Набор данных последовательностей генов сплайс-соединения	Последовательности генов сплайсинга (ДНК) приматов и связанная с ними теория несовершенных доменов.	Никто.	3190	Текст	Классификация	1992		Г. Тоуэлл и др.
Набор данных по экспрессии белков мышей	Уровни экспрессии 77 белков измерены в коре головного мозга мышей.	Никто.	1080	Текст	Классификация, кластеризация	2015		К. Хигера и др.

Грибы

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных грибов UCI	Признаки и классификация грибов.	Приведены многие свойства каждого гриба.	8124	Текст	Классификация	1987		Дж. Хуже
Вторичный набор данных о грибах	Атрибуты и классификация грибов	Смоделированные данные из более крупных и реалистичных первичных записей о грибах. Полностью воспроизводимый.	61069	Текст	Классификация	2020		Д. Вагнер и др.

Растение

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных о лесных пожарах	Лесные пожары и их свойства.	Выделено 13 особенностей каждого пожара.	517	Текст	Регрессия	2008		П. Кортес и др.
Набор данных Ирис	Три типа ирисов описываются четырьмя разными признаками.	Никто.	150	Текст	Классификация	1936		Р. Фишер
Набор данных о листьях видов растений	Шестнадцать образцов листьев каждого из ста видов растений.	Приведены дескриптор формы, мелкомасштабная граница и гистограммы текстур.	1600	Текст	Классификация	2012		Дж. Коуп и др.
Набор данных по сое	База данных больных растений сои.	Даны 35 признаков для каждого растения. Растения разделены на 19 категорий.	307	Текст	Классификация	1988		Р. Михальски и др.
Набор данных семян	Измерения геометрических свойств зерен трех разных сортов пшеницы.	Никто.	210	Текст	Классификация, кластеризация	2012		Чаританович и др.
Набор данных типа обложки	Данные для прогнозирования типа лесного покрова строго на основе картографических переменных.	Даны многие географические объекты.	581,012	Текст	Классификация	1998		Дж. Блэкард и др.
Набор данных сети передачи сигналов абсцизовой кислоты	Данные для сети сигнализации предприятия. Цель состоит в том, чтобы определить набор правил, которые управляют сетью.	Никто.	300	Текст	Причинно-следственное открытие	2008		Дж. Дженкенс и др.
Набор данных фолио	По 20 фотографий листьев каждого из 32 видов.	Никто.	637	Изображения, текст	Классификация, кластеризация	2015		Т. Мунисами и др.
Оксфордский набор цветочных данных	Набор данных из 17 категорий цветов.	Разделение поездов/тестов, маркированные изображения,	1360	Изображения, текст	Классификация	2006		М. Е. Нильсбек и др.
Набор данных о саженцах растений	Набор данных из 12 категорий саженцев растений.	Маркированные изображения, сегментированные изображения,	5544	Изображения	Классификация, обнаружение	2017		Гизельссон и др.
Фрукты-360	База данных с изображениями 131 фрукта и овоща.	100x100 пикселей, белый фон.	90483	Изображения (jpg)	Классификация	2017–2024		Михай Олтян

Микроб

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных Эколи	Сайты локализации белков.	Приведены различные особенности мест локализации белков.	336	Текст	Классификация	1996		К. Накаи и др.
Набор данных MicroMass	Идентификация микроорганизмов по данным масс-спектрометрии.	Различные функции масс-спектрометра.	931	Текст	Классификация	2013		П. Маэ и др.
Набор данных о дрожжах	Прогнозы мест клеточной локализации белков.	Восемь функций даны для каждого экземпляра.	1484	Текст	Классификация	1996		К. Накаи и др.

Открытие лекарств

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных Tox21	Прогнозирование результатов биологических анализов.	Даны химические дескрипторы молекул.	12707	Текст	Классификация	2016		А. Майр и др.

Данные об аномалиях

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Тест нумента-аномалий (NAB)	Данные представляют собой упорядоченные однозначные метрики с отметкой времени. Все файлы данных содержат аномалии, если не указано иное.	Никто	50+ файлов	CSV-файл	Обнаружение аномалий	2016 (постоянно обновляется)		Имя
Сколтехский тест аномалий (SKAB)	Каждый файл представляет собой один эксперимент и содержит одну аномалию. Набор данных представляет собой многомерный временной ряд, собранный с датчиков, установленных на испытательном стенде.	Существует две разметки для проблем обнаружения выбросов (точечные аномалии) и обнаружения точек изменений (коллективные аномалии).	30+ файлов (v0.9)	CSV-файл	Обнаружение аномалий	2020 (постоянно обновляется)		Кацер Юрий Дмитриевич и Козицын Вячеслав Олегович
Об оценке неконтролируемого обнаружения выбросов: меры, наборы данных и эмпирическое исследование	Большинство файлов данных адаптированы из данных репозитория машинного обучения UCI, некоторые взяты из литературы.	обрабатывается на предмет пропущенных значений, только числовые атрибуты, различный процент аномалий, метки	1000+ файлов	АРФФ	Обнаружение аномалий	2016 г. (возможно, дополнено новыми наборами данных и/или результатами)		Кампос и др.

Данные для ответов на вопросы

В этот раздел включены наборы данных, посвященные структурированным данным.

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных нейронных ответов на вопросы DBpedia (DBNQA)	Большая коллекция вопросов к SPARQL, специально разработанная для ответов на вопросы нейронной сети открытого домена в базе знаний DBpedia.	Этот набор данных содержит большую коллекцию шаблонов Open Neural SPARQL и экземпляров для обучения машин Neural SPARQL; он был предварительно обработан полуавтоматическими инструментами аннотирования, а также тремя экспертами SPARQL.	894,499	Пары вопрос-запрос	Вопрос Ответ	2018		Хартманн, Сору и Маркс и др.
Набор данных для ответов на вьетнамские вопросы (UIT-ViQuAD)	Большая коллекция вопросов на вьетнамском языке для оценки моделей MRC.	Этот набор данных включает более 23 000 пар вопросов и ответов, созданных человеком, на основе 5 109 отрывков из 174 вьетнамских статей из Википедии.	23,074	Пары вопрос-ответ	Вопрос Ответ	2020		Нгуен и др.
Вьетнамский корпус машинного чтения с множественным выбором (ViMMRC)	Сборник вопросов с несколькими вариантами ответов на вьетнамском языке для оценки моделей MRC.	Этот корпус включает 2783 вопроса на вьетнамском языке с несколькими вариантами ответов.	2,783	Пары вопрос-ответ	Ответы на вопросы/понимание машинного чтения	2020		Нгуен и др.
Ответы на открытые вопросы становятся диалоговыми благодаря переписыванию вопросов	Сквозной ответ на открытый вопрос.	Этот набор данных включает 14 000 разговоров с 81 000 парами вопросов и ответов.		Контекст, Вопрос, Переписать, Ответ, URL_ответа, Номер_разговора, Номер_поворота, Источник_разговора Более подробная информация представлена ​​в репозитории проекта на GitHub и в соответствующей карточке набора данных Hugging Face .	Вопрос Ответ	2021		Ананта и Вакуленко и др.
Унифицированный контроль качества	Данные вопросов-ответов	Обработанный набор данных			Вопрос Ответ	2020		Хашаби и др.

Данные диалога или инструкции

В этом разделе представлены наборы данных, которые...

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Надсмотрщик	«Корпус Taskmaster состоит из ТРЕХ наборов данных: Taskmaster-1 (TM-1), Taskmaster-2 (TM-2) и Taskmaster-3 (TM-3), включающих более 55 000 устных и письменных диалогов, ориентированных на задачи, в более чем дюжину доменов».	Надсмотрщик-1: целенаправленный разговорный набор данных. Он включает в себя 13 215 диалогов на основе задач, состоящих из шести доменов. Taskmaster-2: 17 289 диалогов в семи доменах (рестораны, заказ еды, кино, отели, авиабилеты, музыка и спорт). Надсмотрщик-3: 23 757 диалогов с билетами в кино.		Надсмотрщик-1 и Надсмотрщик-2: идентификатор разговора, высказывания, идентификатор инструкции Надсмотрщик-3: идентификатор разговора, высказывания, вертикаль, сценарий, инструкции. Для получения более подробной информации проверьте репозиторий проекта на GitHub или карточки набора данных Hugging Face ( Taskmaster-1 , Taskmaster-2 , Taskmaster-3 ).	Диалоговое окно/инструкция	2019		Бирн и Кришнамурти и др.
DrRepair	Размеченный набор данных для программного восстановления.	Предварительно обработанные данные		Подробные сведения о формате см. на листе проекта .	Диалоговое окно/инструкция	2020		Мичихиро и др.
Естественные инструкции v2	Большой набор данных, охватывающий более широкий спектр способностей к рассуждению.			Каждая задача состоит из ввода/вывода и определения задачи. Кроме того, каждый запрос содержит определение задачи. Дополнительная информация представлена ​​в GitHub репозитории проекта на и на карточке данных Hugging Face .	Ввод/вывод и определение задачи	2022		Ван и др.
ЛАМБАДА	«ЛАМБАДА — это совокупность повествовательных отрывков, обладающая тем свойством, что испытуемые-люди способны угадать свое последнее слово, если они прочитают весь отрывок, а не если они увидят только последнее предложение, предшествующее целевому слову».			Информация о формате этого набора данных доступна в карточке набора данных HuggingFace и на сайте проекта . Набор данных можно скачать здесь , а отклоненные данные — здесь .		2016		Паперно и др.
ФЛАН		Повторно обработанная версия набора данных FLAN с обновлениями с момента выпуска исходного набора данных FLAN доступна в Hugging Face : данные испытаний данные поезда данные проверки Скрипты для обработки данных доступны в репозитории GitHub, упомянутом в документе: https://github.com/google-research/FLAN/tree/main/flan . еще один репозиторий FLAN на GitHub Также был создан . Это та карта, которая связана с карточкой набора данных в Hugging Face.				2021		Вэй и др.

Кибербезопасность

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
МИТРА АТАКА	ATT&CK — это глобально доступная база знаний о тактике и методах противника.			Данные можно загрузить из двух репозиториев GitHub: версии 2.1 и версии 2.0.				МИТРА АТАКА
ЦАТЭК	Перечень и классификация распространенных шаблонов атак			Данные можно скачать с сайта CAPEC : Механизмы атаки Области атаки				ЦАТЭК
CVE	CVE — это список публично раскрытых уязвимостей кибербезопасности, который можно бесплатно искать, использовать и включать в продукты и услуги.			Данные можно скачать с: Allitems				CVE
КВЕ	Данные перечисления общих слабостей.			Данные можно скачать с: Разработка программного обеспечения Проектирование оборудования Концепции исследования				КВЕ
MalwareTextDB	Аннотированная база данных текстов вредоносного ПО.			Репозиторий проекта на GitHub содержит данные для загрузки.				Киат и др.
Материалы симпозиума USENIX по безопасности	Сборник материалов по безопасности симпозиума USENIX по безопасности - технических сессий с 1995 по 2022 год.	Эти данные не подвергаются предварительной обработке.		1995 , 1996 , 1997 , 1998 , 1999 , 2000 , 2001 , 2002 , 2003 , 2004 , 2005 , 2006 , 2007 , 2008 , 2009 , 2010 2011 , 2012 , 2013 , 2014 , 2015 , 2016 , 2017 , 2018 , 2019 , 2020 , 2021 , 2022 .				Симпозиум USENIX по безопасности
APTПримечания	Сборник общедоступных документов, технических документов и статей о кампаниях APT. Все документы являются общедоступными данными.	Эти данные не подвергаются предварительной обработке.		В GitHub репозитории проекта на есть файл со ссылками на данные, хранящиеся в box. Файлы данных также можно скачать здесь .				Примечания к APT
Документы по криптографии и безопасности arXiv	Сборник статей о кибербезопасности	Эти данные не подвергаются предварительной обработке.		Все статьи доступны здесь .				arXiv
Электронные книги по безопасности бесплатно	Небольшая коллекция электронных книг по безопасности и общедоступных презентаций по безопасности.	Эти данные не подвергаются предварительной обработке.
Репозиторий национальной стратегии кибербезопасности	Репозиторий всемирных стратегических документов по кибербезопасности.	Эти данные не подвергаются предварительной обработке.
Кибербезопасность Обработка естественного языка	Данные о стратегиях кибербезопасности из более чем 75 стран.	Токенизация, удаление бессмысленно-частых слов.						Яньлинь Чен, Юньцзянь Вэй, Ифань Юй, Вэнь Сюэ, Сянья Цинь
Коллекция отчетов APT	Образцы отчетов APT, вредоносных программ, технологий и сбора разведывательной информации	Доступны необработанные и токенизированные данные.		Все данные доступны в этом репозитории GitHub .				черная птица
Набор данных для идентификации оскорбительного языка (OLID)				Данные доступны на сайте проекта . Данные также доступны здесь .				Зампьери и др.
Киберотчеты Национального центра кибербезопасности		Эти данные не подвергаются предварительной обработке.		Отчеты об угрозах , отчеты и рекомендации , новости , сообщения в блогах , выступления . Альтернативный список отчетов .
APT-отчеты Касперского		Эти данные не подвергаются предварительной обработке.
Киберпровод		Эти данные не подвергаются предварительной обработке.		Информационные бюллетени , подкасты и истории .
Новости об утечках данных		Эти данные не подвергаются предварительной обработке.		Новости , список новостей с августа 2022 по февраль 2023 года.
Киберньюс		Эти данные не подвергаются предварительной обработке.		Новости , кураторский список новостей
Мигающийкомпьютер		Эти данные не подвергаются предварительной обработке.		Новости
запись		Эти данные не подвергаются предварительной обработке.		Новости киберпреступности
Взломать		Эти данные не подвергаются предварительной обработке.		Новости взлома
Список безопасности		Эти данные не подвергаются предварительной обработке.		Отчеты APT , архив , отчеты о DDOS , инциденты , бюллетень безопасности Касперского , промышленные угрозы , отчеты о вредоносных программах , мнения , публикации , исследования и SAS .
Лепной проект	Проект Stucco собирает данные, которые обычно не интегрируются в системы безопасности.	Эти данные не подвергаются предварительной обработке		Веб-сайт проекта с информацией о данных. Проверенный источник со ссылками на источники данных.
Фарсайтбезопасность	Веб-сайт с технической информацией, отчетами и многим другим по темам безопасности.	Эти данные не подвергаются предварительной обработке		Техническая информация , исследования , отчеты .
Шнайер	Веб-сайт с научными статьями по темам безопасности.	Эти данные не подвергаются предварительной обработке		Статьи по категориям , архив статей по дате .
Трендмикро	Веб-сайт с исследованиями, новостями и взглядами на темы безопасности.	Эти данные не подвергаются предварительной обработке		Обзорный список исследований, новостей и перспектив Trendmicro .
Хакерские новости	Новости на тему кибербезопасности.	Эти данные не подвергаются предварительной обработке		утечки данных , кибератаки , уязвимости , новости о вредоносном ПО .
Кребсонбезопасность	Новости безопасности и расследования	Эти данные не подвергаются предварительной обработке		тщательно подобранный список новостей
Митра Защитить	Матрица защитных артефактов			JSON-файлы
Митра Атлас	Mitre Atlas — это база знаний о тактиках, методах противодействия и тематических исследованиях для систем машинного обучения (ML), основанная на реальных наблюдениях.	Эти данные не подвергаются предварительной обработке
Митра Энгейдж	MITRE Engage — это платформа для планирования и обсуждения операций по взаимодействию с противниками, которая позволяет вам взаимодействовать с противниками и достигать своих целей в области кибербезопасности.	Эти данные не подвергаются предварительной обработке
Учебники по взлому		Эти данные не подвергаются предварительной обработке

Климат и устойчивость

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Отчеты TCFD	База данных отчетов компаний, включающих раскрытие информации, связанной с TCFD.	Эти данные не подвергаются предварительной обработке		Прямая ссылка на отчеты Кураторский список отчетов				Центр знаний TCFD
Отчеты о корпоративной социальной ответственности	Список отчетов об ответственности в Интернете.	Эти данные не подвергаются предварительной обработке		Кураторский список отчетов				ОтветственностьОтчеты
Межправительственная группа экспертов по изменению климата (МГЭИК)	Сборник комплексных отчетов об оценке знаний об изменении климата, его причинах, потенциальных последствиях и вариантах реагирования.	Эти данные не подвергаются предварительной обработке		Отчеты Кураторский список отчетов				МГЭИК
Альянс исследований корпоративной устойчивости		Эти данные не подвергаются предварительной обработке		Кураторский список сообщений в блоге				АРКС
Корпус ESG: Центр знаний по учету устойчивого развития		Эти данные не подвергаются предварительной обработке		Руководства , тематические исследования , блоги , отчеты и опросы .				Мехра и др.
КЛИМАТ-ЛИХОРАДКА	Набор данных, основанный на методологии FEVER, состоящий из 1535 реальных утверждений об изменении климата, собранных в Интернете.	Каждое утверждение сопровождается пятью аннотированными вручную предложениями-доказательствами, полученными из английской Википедии, которые подтверждают, опровергают или не дают достаточно информации для подтверждения утверждения, в общей сложности состоящего из 7675 пар утверждение-доказательство.		Карта набора данных HF проекта на , и репозиторий GitHub .				Диггельманн и др.
Набор данных «Климатические новости»	Набор данных для исследователей НЛП и СМИ, посвященных изменению климата.	Набор данных состоит из ряда артефактов данных (текстовые файлы JSON, JSONL и CSV и база данных SQLite).		База данных климатических новостей проекта на GitHub , репозиторий				ADGEэффективность
Климаттекст	Climatext — это набор данных для определения тем, связанных с изменением климата, на основе предложений.			набор ВЧ-данных				Университет Цюриха
ГринБиз	Сборник статей и новостей о климате и устойчивом развитии	Эти данные не подвергаются предварительной обработке		Кураторский список статей о климате Кураторский список статей об устойчивом развитии
Лучшие препринты исследований в области климата и устойчивого развития	Список препринтов исследователей в горячем списке Reuters	Эти данные не подвергаются предварительной обработке		Кураторский список препринтов				Морис Тамман
АРКС		Эти данные не подвергаются предварительной обработке		Кураторский список блогов о корпоративном устойчивом развитии
ГринБиз	Веб-сайт со статьями о климате и устойчивом развитии	Эти данные не подвергаются предварительной обработке						ГринБиз
CSRWIRE		Эти данные не подвергаются предварительной обработке		Кураторский список статей				CSRWIRE
CDP	Статьи о климате , воде и лесах	Эти данные не подвергаются предварительной обработке						CDP

Данные кода

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Стек	Набор данных объемом 3,1 ТБ, состоящий из лицензированного исходного кода на 30 языках программирования.	Фильтруется посредством обнаружения лицензий и дедупликации.	6 ТБ, 51,76 МБ файлов (до дедупликации); 3 ТБ, файлы 5,28Б (после). 358 языков программирования.	Паркет	Языковое моделирование, автодополнение, синтез программ.	2022		Д. Кочетков, Р. Ли, Л. Бен Аллаль, Л. фон Верра, Х. де Врис
Репозитории GitHub		Эти данные не подвергаются предварительной обработке		Кураторский список репозиториев с GitHub : 61 62 , 63 64 , 68 , 69 , 70 , 71 , , 72 , , 65 66, 67 , , 73 , 74 , 75, 76 , 77 101.
Публичные репозитории IBM на GitHub		Эти данные не подвергаются предварительной обработке		Кураторский список репозиториев с GitHub.
Публичные репозитории RedHat на GitHub		Эти данные не подвергаются предварительной обработке		Кураторский список репозиториев с GitHub.
Файлы Public Archive.org StackExchange		Эти данные не подвергаются предварительной обработке		Кураторский список файлов с Archive.org.
Публичные репозитории Gitlab		Эти данные не подвергаются предварительной обработке		Кураторский список репозиториев Gitlab : 1 2
Публичные репозитории Ansible Collections		Эти данные не подвергаются предварительной обработке		Кураторский список репозиториев с GitHub .
Набор данных кода CodeParrot GitHub		Эти данные не подвергаются предварительной обработке		Кураторский список репозиториев Hugging Face : 1 2 3 4 5 6 7 8 9 10
ОКД	Распространение Kubernetes от сообщества, лежащее в основе Red Hat OpenShift	Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Опеншифт	Дистрибутив Kubernetes, удобный для разработчиков и эксплуатации.			Список репозиториев проекта на GitHub
Кубернетес		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Разработчик Red Hat	GitHub — главная страница программы Red Hat Developer.	Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Красная шляпа Мастер-классы		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Kubernetes SIG		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Конвейер		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Торговая площадка RedHat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Блог Redhat		Эти данные не подвергаются предварительной обработке
Кубернетес ио		Эти данные не подвергаются предварительной обработке
Документы		Эти данные не подвергаются предварительной обработке
cncf я		Эти данные не подвергаются предварительной обработке
Презентации Кубернетеса	Список общедоступных презентаций Kubernetes	Эти данные не подвергаются предварительной обработке		канал передачи данных
Лаборатории открытых инноваций Red Hat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Демонстрации Red Hat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Red Hat OpenShift онлайн		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Коллекции программного обеспечения		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Красная шляпа		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Правительство Красной Шляпы		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Ред Хэт Консалтинг		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Сообщества практиков Red Hat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Партнер Red Hat Tech		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Документация Red Hat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
ИБМ		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
IBM Облако		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Команда создания лаборатории		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Терраформировать IBM-модули		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Облачные схемы		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Демонстрации мощности OCP		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Модернизация приложений IBM		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Kubernetes OperationHub		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Фонд облачных вычислений (CNCF)		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Структура оператора		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Репозитории GitHub, на которые есть ссылки в Artehub.io.		Эти данные не подвергаются предварительной обработке		Список репозиториев GitHub в Artehub.io
Сообщества практиков Red Hat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Партнер Red Hat		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Репозитории IBM		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Команда создания лаборатории		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Структура оператора		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Репозитории GitHub		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Красная шляпа		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Шаблоны Кубернетеса		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Шаблоны развертывания и безопасности Kubernetes		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Kubernetes для Full-Stack разработчиков		Эти данные не подвергаются предварительной обработке		Список репозиториев проекта на GitHub
Метрики балансировщика нагрузки Cloudwatch		Эти данные не подвергаются предварительной обработке		GitHub репозиторий проекта
Дайнатрейс		Эти данные не подвергаются предварительной обработке		[5]
Данные AIOps Challenge 2020		Эти данные не подвергаются предварительной обработке		GitHub репозиторий проекта
Логхаб		Эти данные не подвергаются предварительной обработке		Список репозиториев
HTML-страницы		Эти данные не подвергаются предварительной обработке		Список HTML-страниц
Электронные книги Opensift		Эти данные не подвергаются предварительной обработке
Электронные книги по Кубернетесу		Эти данные не подвергаются предварительной обработке		Шаблоны Kubernetes , Развертывание Kubernetes , Kubernetes для разработчиков полного стека
Kubernetes для Full-Stack разработчиков		Эти данные не подвергаются предварительной обработке		Kubernetes для Full-Stack разработчиков
Список публичных и лицензированных репозиториев Github		Эти данные не подвергаются предварительной обработке		Список репозиториев

Многомерные данные

Финансовый

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Индекс Доу-Джонса	Еженедельные данные по акциям за первый и второй кварталы 2011 года.	В расчет включены такие значения, как процентное изменение и лаги.	750	Значения, разделенные запятыми	Классификация, регрессия, временные ряды	2014		М. Браун и др.
Statlog (австралийское одобрение кредита)	Заявки на получение кредитной карты принимаются или отклоняются, а также сведения о заявке.	Имена атрибутов удаляются, а также идентифицирующая информация. Факторы были переименованы.	690	Значения, разделенные запятыми	Классификация	1987		Р. Куинлан
данные аукциона eBay	Данные аукционов различных объектов eBay.com по аукционам различной продолжительности.	Содержит все ставки, идентификатор участника торгов, время ставок и цены открытия.	~ 550	Текст	Регрессия, классификация	2012		Г. Шмуэли и др.
Статлог (кредитные данные Германии)	Классификация двоичных кредитов на «хорошие» и «плохие» со многими особенностями.	Приведены различные финансовые особенности каждого человека.	690	Текст	Классификация	1994		Х. Хофманн
Набор данных банковского маркетинга	Данные крупной маркетинговой кампании, проведенной крупным банком.	Приводятся многие характеристики клиентов, с которыми связались. Также указывается, если клиент подписался на банк.	45,211	Текст	Классификация	2012		С. Моро и др.
Набор данных Стамбульской фондовой биржи	Несколько фондовых индексов отслеживались в течение почти двух лет.	Никто.	536	Текст	Классификация, регрессия	2013		О. Акбилгич
Дефолт клиентов по кредитным картам	Данные о кредитном дефолте для тайваньских кредиторов.	Приводятся различные особенности каждой учетной записи.	30,000	Текст	Классификация	2016		Я. Да
Стокнет	Прогноз движения акций на основе твитов и исторических цен на акции	Никто		Текст	НЛП	2018		Юмо Сюй и Шей Б. Коэн

Погода

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Облачный набор данных	Данные о 1024 различных облаках.	Извлечены особенности изображения.	1024	Текст	Классификация, кластеризация	1989		П. Коллард
Набор данных Эль-Ниньо	Океанографические и приземные метеорологические данные, полученные с ряда буев, расположенных по всей экваториальной части Тихого океана.	На каждом буе измеряются 12 погодных атрибутов.	178080	Текст	Регрессия	1999		Тихоокеанская лаборатория морской окружающей среды
Набор данных сети наблюдений за парниковыми газами	Временные ряды концентраций парниковых газов в 2921 ячейке сетки в Калифорнии, созданные с использованием моделирования погоды.	Никто.	2921	Текст	Регрессия	2015		Д. Лукас
Атмосферный CO 2 из непрерывных проб воздуха в обсерватории Мауна-Лоа	Непрерывные пробы воздуха на Гавайях, США. 44 года рекордов.	Никто.	44 года	Текст	Регрессия	2001		Обсерватория горы Лоа
Набор данных ионосферы	Радиолокационные данные из ионосферы. Задача состоит в том, чтобы классифицировать радиолокационные сигналы на хорошие и плохие.	Приведены многие функции радара.	351	Текст	Классификация	1989		Университет Джонса Хопкинса
Набор данных для определения уровня озона	Два набора данных об уровне приземного озона.	Приведено множество характеристик, включая погодные условия во время измерения.	2536	Текст	Классификация	2008		К. Чжан и др.

Перепись

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Набор данных для взрослых	Данные переписи населения 1994 года, содержащие демографические характеристики взрослого населения и их доходы.	Очищено и анонимизировано.	48,842	Значения, разделенные запятыми	Классификация	1996		Бюро переписи населения США
Переписной доход (KDD)	Взвешенные данные переписи населения, полученные в ходе текущих обследований населения 1994 и 1995 годов .	Разделить на обучающие и тестовые наборы.	299,285	Значения, разделенные запятыми	Классификация	2000		Бюро переписи населения США
База данных переписи населения IPUMS	Данные переписи населения в районах Лос-Анджелеса и Лонг-Бич.	Никто	256,932	Текст	Классификация, регрессия	1999		ИПУМС
Данные переписи населения США 1990 г.	Частичные данные переписи населения США 1990 года.	Результаты рандомизированы и выбраны полезные атрибуты.	2,458,285	Текст	Классификация, регрессия	1990		Бюро переписи населения США

Транзит

Имя набора данных	Краткое описание	Предварительная обработка	Экземпляры	Формат	Задача по умолчанию	Создано (обновлено)	Ссылка	Создатель
Bike Sharing Dataset	Hourly and daily count of rental bikes in a large city.	Many features, including weather, length of trip, etc., are given.	17,389	Text	Regression	2013		H. Fanaee-T
New York City Taxi Trip Data	Trip data for yellow and green taxis in New York City.	Gives pick up and drop off locations, fares, and other details of trips.	6 years	Text	Classification, clustering	2015		New York City Taxi and Limousine Commission
Taxi Service Trajectory ECML PKDD	Trajectories of all taxis in a large city.	Many features given, including start and stop points.	1,710,671	Text	Clustering, causal-discovery	2015		M. Ferreira et al.
METR-LA	Speed from loop detectors in the highway of Los Angeles County.	Average speed in 5 minutes timesteps.	7,094,304 from 207 sensors and 34,272 timesteps	Comma separated values	Regression, Forecasting	2014		Jagadish et al.
PeMS	Speed, flow, occupancy and other metrics from loop detectors and other sensors in the freeway of the State of California, U.S.A..	Metric usually aggregated via Average into 5 minutes timesteps.	39,000 individual detectors, each containing years of timeseries	Comma separated values	Regression, Forecasting, Nowcasting, Interpolation	(updated realtime)		California Department of Transportation

Internet

Dataset Name	Brief description	Preprocessing	Instances	Format	Default Task	Created (updated)	Reference	Creator
Webpages from Common Crawl 2012	Large collection of webpages and how they are connected via hyperlinks	None.	3.5B	Text	clustering, classification	2013		V. Granville
Internet Advertisements Dataset	Dataset for predicting if a given image is an advertisement or not.	Features encode geometry of ads and phrases occurring in the URL.	3279	Text	Classification	1998		N. Kushmerick
Internet Usage Dataset	General demographics of internet users.	None.	10,104	Text	Classification, clustering	1999		D. Cook
URL Dataset	120 days of URL data from a large conference.	Many features of each URL are given.	2,396,130	Text	Classification	2009		J. Ma
Phishing Websites Dataset	Dataset of phishing websites.	Many features of each site are given.	2456	Text	Classification	2015		R. Mustafa et al.
Online Retail Dataset	Online transactions for a UK online retailer.	Details of each transaction given.	541,909	Text	Classification, clustering	2015		D. Chen
Freebase Simple Topic Dump	Freebase is an online effort to structure all human knowledge.	Topics from Freebase have been extracted.	large	Text	Classification, clustering	2011		Freebase
Farm Ads Dataset	The text of farm ads from websites. Binary approval or disapproval by content owners is given.	SVMlight sparse vectors of text words in ads calculated.	4143	Text	Classification	2011		C. Masterharm et al.
The Pile	Assembling several large datasets of diverse and unstructured texts	Various (removing HTML and Javascript from websites, removing duplicated sentences)	825 GiB English text	JSON Lines	Natural Language Processing, Text Prediction	2021		Gao et al.
OSCAR	Large collection of monolingual corpora extracted from web data (Common Crawl dumps) covering 150+ languages	Various (filtering, language classification, adult-content detection and other labelling)	3.4 TB English text, 1.4 TB Chinese text, 1.1 TB Russian text, 595 MB German text, 431 MB French text, and data for 150+ languages (figures for version 23.01)	JSON Lines	Natural Language Processing, Text Prediction	2021		Ortiz Suarez, Abadji, Sagot et al.
OpenWebText	An open-source recreation of the WebText corpus. The text is web content extracted from URLs shared on Reddit with at least three upvotes.	Extracted non-HTML content, deduplicated, and tokenized.	8,013,769 Documents, 38GB	Text	Natural Language Processing, Text Prediction	2019		A. Gokaslan, V. Cohen
ROOTS	A well-documented and representative multilingual dataset with the explicit goal of doing good for and by the people whose data was collected.	Extracted non-HTML content, cleaned out UI and ads, deduplicated, removed PII, and tokenized.	1.6 TB, 59 languages.	Parquet	Natural Language Processing, Text Prediction	2022		H. Laurençon, L. Saulnier, T. Wang, C. Akiki, A. Villanova del Moral, T. Le Scao

Games

Dataset Name	Brief description	Preprocessing	Instances	Format	Default Task	Created (updated)	Reference	Creator
Poker Hand Dataset	5 card hands from a standard 52 card deck.	Attributes of each hand are given, including the Poker hands formed by the cards it contains.	1,025,010	Text	Regression, classification	2007		R. Cattral
Connect-4 Dataset	Contains all legal 8-ply positions in the game of connect-4 in which neither player has won yet, and in which the next move is not forced.	None.	67,557	Text	Classification	1995		J. Tromp
Chess (King-Rook vs. King) Dataset	Endgame Database for White King and Rook against Black King.	None.	28,056	Text	Classification	1994		M. Bain et al.
Chess (King-Rook vs. King-Pawn) Dataset	King+Rook versus King+Pawn on a7.	None.	3196	Text	Classification	1989		R. Holte
Tic-Tac-Toe Endgame Dataset	Binary classification for win conditions in tic-tac-toe.	None.	958	Text	Classification	1991		D. Aha

Other multivariate

Dataset Name	Brief description	Preprocessing	Instances	Format	Default Task	Created (updated)	Reference	Creator
Housing Data Set	Median home values of Boston with associated home and neighborhood attributes.	None.	506	Text	Regression	1993		D. Harrison et al.
The Getty Vocabularies	structured terminology for art and other material culture, archival materials, visual surrogates, and bibliographic materials.	None.	large	Text	Classification	2015		Getty Center
Yahoo! Front Page Today Module User Click Log	User click log for news articles displayed in the Featured Tab of the Today Module on Yahoo! Front Page.	Conjoint analysis with a bilinear model.	45,811,883 user visits	Text	Regression, clustering	2009		Chu et al.
British Oceanographic Data Centre	Biological, chemical, physical and geophysical data for oceans. 22K variables tracked.	Various.	22K variables, many instances	Text	Regression, clustering	2015		British Oceanographic Data Centre
Congressional Voting Records Dataset	Voting data for all USA representatives on 16 issues.	Beyond the raw voting data, various other features are provided.	435	Text	Classification	1987		J. Schlimmer
Entree Chicago Recommendation Dataset	Record of user interactions with Entree Chicago recommendation system.	Details of each users usage of the app are recorded in detail.	50,672	Text	Regression, recommendation	2000		R. Burke
Insurance Company Benchmark (COIL 2000)	Information on customers of an insurance company.	Many features of each customer and the services they use.	9,000	Text	Regression, classification	2000		P. van der Putten
Nursery Dataset	Data from applicants to nursery schools.	Data about applicant's family and various other factors included.	12,960	Text	Classification	1997		V. Rajkovic et al.
University Dataset	Data describing attributed of a large number of universities.	None.	285	Text	Clustering, classification	1988		S. Sounders et al.
Blood Transfusion Service Center Dataset	Data from blood transfusion service center. Gives data on donors return rate, frequency, etc.	None.	748	Text	Classification	2008		I. Yeh
Record Linkage Comparison Patterns Dataset	Large dataset of records. Task is to link relevant records together.	Blocking procedure applied to select only certain record pairs.	5,749,132	Text	Classification	2011		University of Mainz
Nomao Dataset	Nomao collects data about places from many different sources. Task is to detect items that describe the same place.	Duplicates labeled.	34,465	Text	Classification	2012		Nomao Labs
Movie Dataset	Data for 10,000 movies.	Several features for each movie are given.	10,000	Text	Clustering, classification	1999		G. Wiederhold
Open University Learning Analytics Dataset	Information about students and their interactions with a virtual learning environment.	None.	~ 30,000	Text	Classification, clustering, regression	2015		J. Kuzilek et al.
Mobile phone records	Telecommunications activity and interactions	Aggregation per geographical grid cells and every 15 minutes.	large	Text	Classification, Clustering, Regression	2015		G. Barlacchi et al.

Curated repositories of datasets

As datasets come in myriad formats and can sometimes be difficult to use, there has been considerable work put into curating and standardizing the format of datasets to make them easier to use for machine learning research.

• OpenML: Web platform with Python, R, Java, and other APIs for downloading hundreds of machine learning datasets, evaluating algorithms on datasets, and benchmarking algorithm performance against dozens of other algorithms.
• PMLB: A large, curated repository of benchmark datasets for evaluating supervised machine learning algorithms. Provides classification and regression datasets in a standardized format that are accessible through a Python API.
• Metatext NLP: https://metatext.io/datasets web repository maintained by community, containing nearly 1000 benchmark datasets, and counting. Provides many tasks from classification to QA, and various languages from English, Portuguese to Arabic.
• Appen: Off The Shelf and Open Source Datasets hosted and maintained by the company. These biological, image, physical, question answering, signal, sound, text, and video resources number over 250 and can be applied to over 25 different use cases.

See also

• Comparison of deep learning software
• List of manual image annotation tools
• List of biological databases