Семейство систем извлечения правил

Семейство систем извлечения правил (RULES) — это семейство индуктивного обучения, включающее несколько покрывающих алгоритмов. Это семейство используется для построения прогнозной модели на основе данного наблюдения. Он работает на основе концепции «разделяй и властвуй», чтобы напрямую вызывать правила из заданного обучающего набора и создавать хранилище знаний.

Алгоритмы семейства RULES обычно доступны в инструментах интеллектуального анализа данных, таких как KEEL и WEKA , известных своими технологиями извлечения знаний и принятия решений.

Обзор

Алгоритмы семейства RULES в основном используются при интеллектуальном анализе данных для создания модели, прогнозирующей действия заданных входных функций. Это происходит под эгидой индуктивного обучения, которое представляет собой подход машинного обучения. При этом типе обучения агенту обычно предоставляется предыдущая информация для получения описательных знаний на основе заданных исторических данных. Таким образом, это парадигма обучения с учителем, которая работает как инструмент анализа данных, который использует знания, полученные в ходе обучения, для получения общего вывода и идентификации новых объектов с помощью созданного классификатора.

Индуктивное обучение было разделено на два типа: дерево решений (DT) и алгоритмы покрытия (CA). DT обнаруживают правила, используя дерево решений, основанное на концепции «разделяй и властвуй», тогда как CA напрямую вызывает правила из обучающего набора, основанного на концепции «разделяй и властвуй». Хотя алгоритмы DT получили широкое признание в последние несколько десятилетий, CA начал привлекать внимание благодаря своему свойству индукции прямого правила, как подчеркивают Курган и др. [1]. В рамках этого типа подхода к индуктивному обучению было разработано и улучшено несколько семей. Семейство RULES [2], известное как система извлечения правил, представляет собой одно семейство покрывающих алгоритмов, которые разделяют каждый экземпляр или пример при создании лучших правил. В этом семействе результирующие правила сохраняются в структуре «IF условие THEN заключение». У него есть собственная процедура индукции, которая используется для создания лучших правил и создания хранилища знаний.

Процедура индукции

Чтобы создать лучшие правила на основе данного наблюдения, семейство RULES начинает с выбора (разделения) начального примера для построения правила, условие за условием. Правило, охватывающее наиболее положительные и наименее отрицательные примеры, выбирается в качестве лучшего правила текущего начального примера. Это позволяет лучшему правилу охватить некоторые отрицательные примеры, чтобы обеспечить повышенную гибкость и уменьшить проблему переобучения и зашумленных данных при индукции правила. Когда производительность покрытия достигает заданного порога, примеры, соответствующие введенным правилам, помечаются без удаления. Это предотвращает повторение обнаружения одного и того же правила, а также сохраняет точность покрытия и общность новых правил. После этого алгоритм повторяется для выбора (покорения) другого исходного примера, пока не будут покрыты все примеры. Следовательно, на каждом этапе может быть создано только одно правило.

Алгоритмы

В семействе RULES было предложено несколько версий и алгоритмов, которые можно резюмировать следующим образом:

ПРАВИЛА-1 [3] — первая версия семейства ПРАВИЛ, предложенная проф. Фам и проф. Аксой в 1995 году.
ПРАВИЛА-2 [4] — это обновленная версия ПРАВИЛ-1, в которой каждый пример изучается отдельно.
ПРАВИЛА-3 [5] — это еще одна версия, содержащая все свойства ПРАВИЛ-2, а также другие дополнительные функции для создания более общих правил.
RULES-3Plus [6] представляет собой расширенную версию RULES-3 с двумя дополнительными функциями.
RULES-4 [7] — первая дополнительная версия семейства RULES.
RULES-5 [8] — первая версия RULES, которая обрабатывает непрерывные атрибуты без дискретизации. Он также был расширен до RULES-5+[9], который повышает производительность за счет новой схемы представления пространства правил.
RULES-6 [10] — это масштабируемая версия семейства RULES, разработанная как расширение RULES-3 plus.
RULES-F [11] является расширением RULES-5, которое обрабатывает не только непрерывные атрибуты, но и непрерывные классы. Была также интегрирована новая схема представления пространства правил для создания расширенной версии под названием RULES-F+ [9].
RULES-SRI [12] — еще один масштабируемый алгоритм RULES, разработанный для улучшения масштабируемости RULES-6.
Rule Extractor-1 (REX-1) [13] представляет собой усовершенствованную версию RULES-3, RULES-3 Plus и RULES-4, позволяющую сократить время процесса и создать более простые модели с меньшим количеством правил.
RULES-IS [14] — инкрементальный алгоритм, вдохновленный иммунной системой.
RULES-3EXT [15] является расширением RULES-3 с дополнительными функциями.
ПРАВИЛА-7 [16] являются расширением ПРАВИЛ-6, в котором применяется специализация по одному семени за раз.
ПРАВИЛА-8 [17] — это улучшенная версия, которая работает с непрерывными атрибутами в режиме онлайн.
RULES-TL [18] — еще один масштабируемый алгоритм, который был предложен для повышения производительности и скорости при одновременном внедрении более интеллектуальных аспектов.
RULES-IT [19] — это инкрементальная версия, созданная на основе RULES-TL для постепенного решения больших и неполных задач.

Приложения

Алгоритмы покрытия, как правило, могут применяться к любой области применения машинного обучения, если она поддерживает соответствующий тип данных. Виттен, Франк и Холл [20] определили шесть основных приложений, которые активно используются в качестве приложений ML, включая продажи и маркетинг, принятие решений, просмотр изображений, прогнозирование нагрузки, диагностику и веб-майнинг.

Алгоритмы RULES, в частности, применялись в различных производственных и инженерных приложениях [21]. RULES-3 EXT также применялся при проверке подписи, а производительность алгоритма была проверена Аксой и Маткуром [22]. Недавно Салем и Шмикл [23] изучили эффективность RULE-4 в борьбе с плотностью агентов-хищников.

См. также

Ссылки

[1] Л.А. Курган, К.Дж. Сиос и С. Дик, «Высокомасштабируемый и надежный алгоритм обучения правилам: оценка и сравнение производительности», IEEE СИСТЕМЫ, ЧЕЛОВЕК И КИБЕРНЕТИКА — ЧАСТЬ B: КИБЕРНЕТИКА, том. 36, стр. 32–53, 2006.

[2] М. С. Аксой, «Обзор семейства правил алгоритмов», «Математические и вычислительные приложения», вып. 13, стр. 51–60, 2008.

[3] Д.Т. Фам и М.С. Аксой, "ПРАВИЛА: Простая система извлечения правил", Экспертные системы с приложениями, том. 8, стр. 59–65, 1995.

[4] Д.Т. Фам и М.С. Аксой, «Алгоритм автоматического введения правил», Искусственный интеллект в инженерии, том. 8, стр. 277–282, 1993.

[5] Д.Т. Фам и М.С. Аксой, «Новый алгоритм индуктивного обучения», Journal of Systems Engenering, vol. 5, стр. 115–122, 1995.

[6] Д.Т. Фам и С.С. Димов, «Алгоритм индуктивного обучения RULES-3 Plus», в материалах Третьего Всемирного конгресса по экспертным системам, Сеул, Корея, 1996, стр. 917–924.

[7] Д.Т. Фам и С.С. Димов, «Алгоритм постепенного индуктивного обучения», Journal of Engineering Manufacture, vol. 211, стр. 239–249, 1997.

[8] Д. Фам, С. Биго и С. Димов, «ПРАВИЛА-5: алгоритм индукции правил для задач классификации, включающих непрерывные атрибуты», в Институте инженеров-механиков, 2003, стр. 1273–1286.

[9] С. Биго, «Новая схема представления пространства правил для индукции правил в приложениях классификации и управления», Труды Института инженеров-механиков, Часть I: Журнал систем и техники управления, 2011.

[10] Д.Т. Фам и А.А. Афифи, «ПРАВИЛА-6: простой алгоритм индукции правил для поддержки принятия решений», на 31-й ежегодной конференции Общества промышленной электроники IEEE (IECON '05), 2005 г., стр. 2184–2189.

[11] Д.Т. Фам, С. Биго и С.С. Димов, «ПРАВИЛА-F: Нечеткий алгоритм индуктивного обучения», Труды Института инженеров-механиков, Часть C: Журнал машиностроительной науки, том. 220, стр. 1433–1447, 2006.

[12] А.А. Афифи и Д.Т. Фам, «SRI: масштабируемый алгоритм индукции правил», Труды Института инженеров-механиков, Часть C: Журнал машиностроительной науки, том. 220, стр. 537–552, 2006.

[13] О. Акгебек, Ю. С. Айдын, Э. Озтемель и М. С. Аксой, «Новый алгоритм автоматического получения знаний при индуктивном обучении», «Системы, основанные на знаниях», том. 19, стр. 388–395, 2006.

[14] Д.Т. Фам и А.Дж. Сорока, «Алгоритм генерации правил, основанный на иммунной сети (RULES-IS)», на Третьей виртуальной международной конференции по инновационным производственным машинам и системам, WhittlesDunbeath, 2007.

[15] Х. И. Маткур, «Улучшение RULES3-EXT индукционного алгоритма RULES-3», «Математические и вычислительные приложения», Vol. 15, № 3, с., 2010, т. 15, № 3, с. 15, стр. 318–324, 2010.

[16] К. Шехзад, «EDISC: метод дискретизации с учетом классов для классификации на основе правил», IEEE Transactions on Knowledge and Data Engineering, vol. 24, стр. 1435–1447, 2012.

[17] Д. Фам, «Новый алгоритм индукции правил с улучшенной обработкой атрибутов с непрерывными значениями», доктор философии, инженерный факультет Кардиффского университета, Кардифф, 2012.

[18] Х. ЭлДжибрин и М.С. Аксой, «ПРАВИЛА – TL: простой и улучшенный алгоритм ПРАВИЛ для неполных и больших данных», Журнал теоретических и прикладных информационных технологий, том. 47, стр. 28–40, 2013.

[19] Х. Элгибрин и М. Аксой, «RULES-IT: поэтапное трансферное обучение с семейством RULES», Frontiers of Computer Science, vol. 8, стр. 537–562, 2014.

[20] И. Х. Виттен, Э. Франк и М. А. Холл, Практические инструменты и методы машинного обучения для интеллектуального анализа данных, Третье издание: Морган Кауфманн, 2011.

[21] Д. Фам и А. Афифи, «Методы машинного обучения и их применение в производстве», Труды Института инженеров-механиков, часть B, Журнал машиностроительного производства, том. 219, стр. 395–412, 2005.

[22] М. С. Аксой и Х. Маткур, «Проверка подписи с использованием правил системы индуктивного обучения 3-ext», Международный журнал физических наук, том. 6, стр. 4428–4434, 2011.

[23] З. Салем и Т. Шмикл, «Эффективность алгоритма обучения классификации RULES-4 в прогнозировании плотности агентов», Cogent Engineering, vol. 1, с. 986262, 2014.