Система классификаторов обучения

2D-визуализация правил LCS, обучающихся аппроксимации 3D-функции. Каждый синий эллипс представляет собой отдельное правило, охватывающее часть пространства решений. (Адаптировано из изображений, взятых из XCSF. с разрешения Мартина Буца)

Системы классификаторов обучения , или LCS , представляют собой парадигму методов машинного обучения, основанных на правилах , которые сочетают в себе компонент открытия (например, обычно генетический алгоритм в эволюционных вычислениях ) с компонентом обучения (выполняющим обучение с учителем , обучение с подкреплением или обучение без учителя ). Системы обучающихся классификаторов стремятся идентифицировать набор контекстно-зависимых правил, которые коллективно хранят и фрагментарно применяют знания, чтобы делать прогнозы (например, моделирование поведения , классификация , интеллектуальный анализ данных , регрессия , аппроксимация функции , или игровая стратегия ). Этот подход позволяет сложное пространство решений разбить на более мелкие и простые части для обучения с подкреплением, которое находится в рамках исследований искусственного интеллекта.

Основополагающие концепции, лежащие в основе обучающихся систем классификаторов, возникли в результате попыток смоделировать сложные адаптивные системы с использованием агентов на основе правил для формирования искусственной когнитивной системы (т. е. искусственного интеллекта ).

Методология

Архитектура и компоненты данной системы классификаторов обучения могут быть весьма разнообразными. Полезно думать о LCS как о машине, состоящей из нескольких взаимодействующих компонентов. Компоненты могут быть добавлены или удалены, а существующие компоненты могут быть изменены или заменены в соответствии с требованиями данной проблемной области (например, алгоритмические строительные блоки) или чтобы сделать алгоритм достаточно гибким, чтобы функционировать во многих различных проблемных областях. В результате парадигма LCS может гибко применяться ко многим проблемным областям, требующим машинного обучения . Основные различия между реализациями LCS следующие: (1) архитектура в мичиганском стиле и архитектура в питтсбургском стиле; (2) обучение с подкреплением и обучение под присмотром , (3) поэтапное обучение и пакетное обучение, (4) онлайн-обучение и офлайн-обучение , (5) фитнес, основанный на силе, и фитнес, основанный на точности, и (6) полное действие картографирование против картографирования лучших действий. Эти разделения не обязательно являются взаимоисключающими. Например, XCS, Самый известный и наиболее изученный алгоритм LCS, разработанный в Мичиганском стиле, был разработан для обучения с подкреплением, но также может выполнять обучение с учителем, применяет постепенное обучение, которое может быть как онлайн, так и оффлайн, применяет приспособленность, основанную на точности, и стремится генерировать комплексное действие. картографирование.

Элементы общего алгоритма LCS

Пошаговая схема, иллюстрирующая общий цикл обучения системы классификатора обучения в Мичиганском стиле, выполняющий контролируемое обучение.

Принимая во внимание, что LCS — это парадигма машинного обучения на генетической основе, а не конкретный метод, ниже описываются ключевые элементы общего современного (т. е. пост-XCS) алгоритма LCS. Для простоты давайте сосредоточимся на архитектуре в стиле Мичигана с контролируемым обучением. См. иллюстрации справа, демонстрирующие последовательные шаги, включенные в этот тип типовой LCS.

Среда

Окружающая среда является источником данных, на которых обучается LCS. Это может быть автономный ограниченный набор обучающих данных (характерный для задач интеллектуального анализа данных , классификации или регрессии) или последовательный онлайн-поток живых обучающих экземпляров. Предполагается, что каждый экземпляр обучения включает некоторое количество функций (также называемых атрибутами или независимыми переменными ) и одну конечную точку интереса (также называемую классом , действием , фенотипом , предсказанием или зависимой переменной ). Часть обучения LCS может включать выбор функций , поэтому не все функции в обучающих данных должны быть информативными. Набор значений признаков экземпляра обычно называют состоянием . Для простоты давайте предположим, что это пример проблемной области с логическими / двоичными функциями и логическим / двоичным классом. Для систем Мичиганского типа в каждом цикле обучения обучается один экземпляр из среды (т. е. постепенное обучение). Системы Питтсбургского типа выполняют пакетное обучение, при котором наборы правил оцениваются на каждой итерации по большей части или всем обучающим данным.

Правило/классификатор/популяция

Правило — это контекстно-зависимая связь между значениями состояния и некоторым прогнозом. Правила обычно принимают форму выражения {IF:THEN} (например, { IF 'условие' THEN 'действие'} или, как более конкретный пример, {IF 'красный' AND 'восьмиугольник' THEN 'стоп-знак'} ). Критическая концепция как LCS, так и машинного обучения на основе правил заключается в том, что отдельное правило само по себе не является моделью, поскольку правило применимо только тогда, когда его условие удовлетворено. Думайте о правиле как о «локальной модели» пространства решений.

Правила могут быть представлены разными способами для обработки разных типов данных (например, двоичных, дискретных, порядковых, непрерывных). Для двоичных данных LCS традиционно применяет представление троичных правил (т. е. правила могут включать 0, 1 или «#» для каждого объекта в данных). Символ «не важно» (т. е. «#») служит подстановочным знаком в условии правила, позволяя правилам и системе в целом обобщать отношения между функциями и целевой конечной точкой, которые необходимо предсказать. Рассмотрим следующее правило (#1###0 ~ 1) (т.е. условие ~ действие). Это правило можно интерпретировать так: ЕСЛИ второй признак = 1 И шестой признак = 0, ТОГДА предсказание класса = 1. Мы бы сказали, что второй и шестой признак были указаны в этом правиле, а остальные были обобщены. Это правило и соответствующий прогноз применимы к экземпляру только тогда, когда экземпляр удовлетворяет условию правила. Чаще это называют соответствием. В LCS Мичиганского типа каждое правило имеет собственную пригодность, а также ряд других связанных с ним параметров правил, которые могут описывать количество существующих копий этого правила (т. число ), возраст правила, его точность или точность прогнозов вознаграждений, а также другие описательные или экспериментальные статистические данные. Правило вместе с его параметрами часто называют классификатором . В системах Мичиганского типа классификаторы содержатся в совокупности [ P] с заданным пользователем максимальным количеством классификаторов. В отличие от большинства алгоритмов стохастического поиска (например, эволюционных алгоритмов ), популяции LCS изначально пусты (т. е. нет необходимости случайной инициализации совокупности правил). Вместо этого классификаторы будут первоначально представлены населению с помощью механизма покрытия.

В любой LCS обученная модель представляет собой набор правил/классификаторов, а не какое-то отдельное правило/классификатор. В LCS в мичиганском стиле вся обученная (и, возможно, уплотненная) совокупность классификаторов формирует модель прогнозирования.

Соответствие

Одним из наиболее важных и зачастую трудоемких элементов LCS является процесс сопоставления. На первом этапе цикла обучения LCS берется один экземпляр обучения из среды и передается в [P], где и происходит сопоставление. На втором этапе каждое правило в [P] теперь сравнивается с обучающим экземпляром, чтобы увидеть, какие правила совпадают (т. е. являются контекстуально релевантными для текущего экземпляра). На третьем этапе все правила сопоставления перемещаются в набор сопоставлений [M]. Правило соответствует обучающему экземпляру, если все значения признаков, указанные в условии правила, эквивалентны соответствующему значению признака в обучающем экземпляре. Например, если предположить, что обучающий экземпляр равен (001001 ~ 0), эти правила будут соответствовать: (###0## ~ 0), (00###1 ~ 0), (#01001 ~ 1), но эти правила не будет (1##### ~ 0), (000##1 ~ 0), (#0#1#0 ~ 1). Обратите внимание, что при сопоставлении конечная точка/действие, указанное правилом, не учитывается. В результате набор совпадений может содержать классификаторы, предлагающие конфликтующие действия. На четвертом этапе, поскольку мы проводим обучение с учителем, [M] делится на правильный набор [C] и неправильный набор [I]. Правило сопоставления попадает в правильный набор, если оно предлагает правильное действие (на основе известного действия обучающего экземпляра), в противном случае оно переходит в [I]. При обучении с подкреплением LCS вместо этого будет сформирован набор действий [A], поскольку правильное действие неизвестно.

Покрытие

На этом этапе цикла обучения, если ни один классификатор не попал ни в [M], ни в [C] (как это было бы в случае, когда совокупность вначале пуста), применяется механизм покрытия (пятый шаг). Покрытие — это форма онлайн-интеллектуальной инициализации популяции . Покрытие случайным образом генерирует правило, соответствующее текущему экземпляру обучения (а в случае обучения с учителем это правило также генерируется с правильным действием. Предполагая, что экземпляр обучения равен (001001 ~ 0), покрытие может генерировать любое из следующих правил: (#0#0## ~ 0), (001001 ~ 0), (#010## ~ 0). Покрытие не только гарантирует, что в каждом цикле обучения существует хотя бы одно правильное правило соответствия в [C], но и то, что любое правило, инициализированное в совокупности, будет соответствовать хотя бы одному обучающему экземпляру. Это не позволяет LCS исследовать пространство поиска правил, которые не соответствуют ни одному обучающему экземпляру.

Обновление параметров/присвоение кредитов/обучение

На шестом этапе параметры любого правила в [M] обновляются, чтобы отразить новый опыт, полученный в текущем обучающем экземпляре. В зависимости от алгоритма LCS на этом этапе может произойти ряд обновлений. Для контролируемого обучения мы можем просто обновить точность/ошибку правила. Точность/ошибка правила отличается от точности/ошибки модели, поскольку она рассчитывается не по всем обучающим данным, а только по всем экземплярам, ​​которым они соответствуют. Точность правила рассчитывается путем деления количества раз, когда правило находилось в правильном наборе [C], на количество раз, когда оно было в совпадающем наборе [M]. Точность правил можно рассматривать как «локальную точность». Здесь также обновляется пригодность правил, которая обычно рассчитывается как функция точности правил. Концепция приспособленности взята непосредственно из классических генетических алгоритмов . Имейте в виду, что существует множество вариантов того, как LCS обновляет параметры для выполнения присвоения кредитов и обучения.

Подчинение

На седьмом этапе включения обычно применяется механизм . Включение — это явный механизм обобщения, который объединяет классификаторы, охватывающие избыточные части проблемного пространства. Включающий классификатор эффективно поглощает включаемый классификатор (и его количество увеличивается). Это может произойти только тогда, когда объединяющий классификатор является более общим, столь же точным и охватывает все проблемное пространство классификатора, который он включает.

Открытие правил/генетический алгоритм

На восьмом этапе LCS применяет элитарный генетический алгоритм (ГА), который выберет два родительских классификатора на основе приспособленности (выживает наиболее приспособленный). Родители выбираются из [C], обычно с использованием турнирного отбора . В некоторых системах применяется выбор с помощью колеса рулетки или детерминированный отбор, а родительские правила выбираются по-разному: либо из [P] - панмиктический выбор, либо из [M]). Операторы скрещивания и мутации теперь применяются для создания двух новых дочерних правил. На этом этапе родительские и дочерние правила возвращаются в [P]. LCS Генетический алгоритм является весьма элитарным, поскольку на каждой итерации обучения сохраняется подавляющее большинство популяции. В качестве альтернативы обнаружение правил может быть выполнено каким-либо другим методом, например, алгоритмом оценки распределения , но ГА является, безусловно, наиболее распространенным подходом. Эволюционные алгоритмы, такие как GA, используют стохастический поиск, что делает LCS стохастическим алгоритмом. LCS стремится грамотно исследовать пространство поиска, но не выполняет исчерпывающий поиск комбинаций правил и не гарантирует сходимости к оптимальному решению.

Удаление

Последним шагом в общем цикле обучения LCS является поддержание максимального размера популяции. Механизм удаления выберет классификаторы для удаления (обычно с использованием выбора колеса рулетки). Вероятность того, что классификатор будет выбран для удаления, обратно пропорциональна его пригодности. Когда классификатор выбран для удаления, его параметр нумерации уменьшается на единицу. Когда численность классификатора снижается до нуля, он полностью удаляется из совокупности.

Обучение

LCS будет циклически повторять эти шаги в течение определенного количества итераций обучения, заданного пользователем, или до тех пор, пока не будут выполнены определенные пользователем критерии завершения. Для онлайн-обучения LCS будет получать из среды совершенно новый экземпляр обучения на каждой итерации. Для автономного обучения LCS будет перебирать ограниченный набор обучающих данных. Как только он достигнет последнего экземпляра в наборе данных, он вернется к первому экземпляру и снова пройдет через набор данных.

Сжатие правил

После завершения обучения совокупность правил неизбежно будет содержать некоторые плохие, избыточные и неопытные правила. Обычно применяют правило уплотнения или эвристику конденсации на этапе постобработки . Полученная в результате компактная совокупность правил готова к применению в качестве модели прогнозирования (например, для прогнозирования экземпляров тестирования) и/или к интерпретации для обнаружения знаний .

Прогноз

Независимо от того, применялось ли сжатие правил или нет, выходные данные алгоритма LCS представляют собой совокупность классификаторов, которые можно применять для прогнозирования ранее невидимых экземпляров. Механизм прогнозирования сам по себе не является частью контролируемого цикла обучения LCS, однако он будет играть важную роль в цикле обучения LCS с подкреплением. Сейчас мы рассмотрим, как можно применить механизм прогнозирования для прогнозирования проверочных данных. При составлении прогнозов компоненты обучения LCS деактивируются, чтобы популяция не продолжала учиться на входящих данных тестирования. Экземпляр теста передается в [P], где набор совпадений [M] формируется как обычно. На этом этапе набор совпадений по-другому передается в массив прогнозов. Правила в наборе матчей могут предсказывать разные действия, поэтому применяется схема голосования. В простой схеме голосования побеждает действие, набравшее наибольшее количество поддерживающих «голосов» из правил сопоставления, и становится выбранным прогнозом. Не все правила получают равное голосование. Скорее, сила голосов за одно правило обычно пропорциональна его многочисленности и пригодности. Эта схема голосования и характер хранения знаний LCS предполагают, что алгоритмы LCS неявно Учащиеся ансамбля .

Интерпретация

Отдельные правила LCS обычно представляют собой удобочитаемое выражение IF:THEN. Правила, составляющие модель прогнозирования LCS, можно ранжировать по различным параметрам и проверять вручную. Также были предложены глобальные стратегии по поиску знаний с использованием статистических и графических данных. Что касается других передовых подходов машинного обучения, таких как искусственные нейронные сети , случайные леса или генетическое программирование , системы обучающихся классификаторов особенно хорошо подходят для задач, требующих интерпретируемых решений.

История

Ранние годы

Джон Генри Холланд был наиболее известен своей работой по популяризации генетических алгоритмов (ГА) благодаря своей новаторской книге «Адаптация в естественных и искусственных системах». в 1975 году и его формализация теоремы Холланда о схеме . В 1976 году Холланд концептуализировал расширение концепции ГА до того, что он назвал «когнитивной системой». и представил первое подробное описание того, что впоследствии стало известно как первая система классификаторов обучения, в статье «Когнитивные системы, основанные на адаптивных алгоритмах». Эта первая система, названная Cognitive System One (CS-1), была задумана как инструмент моделирования, предназначенный для моделирования реальной системы (т. е. окружающей среды ) с неизвестной базовой динамикой с использованием совокупности понятных человеку правил. Цель заключалась в том, чтобы создать набор правил для выполнения онлайн-машинного обучения для адаптации к окружающей среде на основе нечастой выплаты/вознаграждения (т. е. обучения с подкреплением) и применить эти правила для создания поведения, соответствующего реальной системе. Эта ранняя, амбициозная реализация позже была сочтена слишком сложной и привела к противоречивым результатам.

Начиная с 1980 года Кеннет де Йонг и его ученик Стивен Смит применили другой подход к машинному обучению на основе правил с помощью (LS-1) , где обучение рассматривалось как процесс автономной оптимизации, а не как процесс онлайн-адаптации. Этот новый подход был больше похож на стандартный генетический алгоритм, но развивал независимые наборы правил. С тех пор методы LCS, вдохновленные структурой онлайн-обучения, представленной Голландией в Мичиганском университете, стали называться LCS в мичиганском стиле , а методы, вдохновленные Смитом и Де Йонгом в Питтсбургском университете, стали называться LCS в питтсбургском стиле. ЛКС . В 1986 году Голландия разработала то, что на следующее десятилетие будет считаться стандартным LCS в мичиганском стиле.

Другие важные концепции, возникшие в первые дни исследований LCS, включали (1) формализацию алгоритма бригады ведер (BBA) для присвоения кредитов/обучения; (2) выбор родительских правил из общей «экологической ниши» (т. е. набора совпадений [M]), а не из всей совокупности [P], (3) покрытие , впервые представленное как оператор создания , (4) формализация множества действий [A], (5) упрощенная архитектура алгоритма, (6) силовая подготовка , (7) рассмотрение задач одноэтапного или контролируемого обучения и введение правильного набора [С], (8) пригодность на основе точности (9) сочетание нечеткой логики с LCS (которые позже породили ряд нечетких алгоритмов LCS ), (10) поощрение длинных цепочек действий и иерархий по умолчанию для повышения производительности при решении многоэтапных задач, (11) изучение скрытого обучения (которое позже вдохновило на создание новой ветви систем упреждающих классификаторов (ACS) ) и (12) внедрение первой методики присвоения кредитов, подобной Q-learning . Хотя не все эти концепции применяются в современных алгоритмах LCS, каждая из них стала вехой в развитии парадигмы LCS.

Революция

Интерес к изучению систем классификаторов возобновился в середине 1990-х годов во многом благодаря двум событиям; разработка Q-Learning алгоритма для обучения с подкреплением и введения Стюартом Уилсоном значительно упрощенных архитектур LCS в мичиганском стиле. Вильсона (ZCS) Система классификаторов нулевого уровня сосредоточен на повышении понятности алгоритмов на основе стандартной реализации LCS Голландии. Частично это было сделано за счет удаления правил торгов и внутреннего списка сообщений, необходимых для первоначального присвоения кредитов BBA, и замены их гибридной стратегией BBA/ Q-Learning . ZCS продемонстрировал, что гораздо более простая архитектура LCS может работать так же хорошо, как и исходные, более сложные реализации. Однако ZCS по-прежнему страдал от недостатков производительности, включая распространение слишком общих классификаторов.

В 1995 году Уилсон опубликовал свою знаковую статью «Пригодность классификатора, основанную на точности», в которой он представил систему классификаторов XCS . XCS взяла упрощенную архитектуру ZCS и добавила пригодность на основе точности, нишевый GA (действующий в наборе действий [A]), явный механизм обобщения, называемый субсуммированием , и адаптацию присвоения кредитов Q-Learning . XCS был популяризирован благодаря своей способности достигать оптимальной производительности при разработке точных и максимально общих классификаторов, а также впечатляющей гибкости решения задач (способность выполнять как обучение с подкреплением, так и обучение с учителем ). Позже XCS стал самым известным и наиболее изученным алгоритмом LCS и определил новое семейство основанных на точности LCS . ZCS альтернативно стал синонимом LCS, основанного на силе . XCS также важен, поскольку он успешно заполнил разрыв между LCS и областью обучения с подкреплением . После успеха XCS, LCS позже были описаны как системы обучения с подкреплением, наделенные способностью обобщения. Обучение с подкреплением обычно направлено на изучение функции ценности, которая отображает полное представление пространства состояний/действий. Точно так же конструкция XCS заставляет ее формировать всеохватывающее и точное представление проблемного пространства (т. е. полную карту ), а не сосредотачиваться на нишах с высокой отдачей в окружающей среде (как это было в случае с LCS, основанным на силе). Концептуально полные карты отражают не только то, что вам следует делать или что правильно, но и то, что вам не следует делать или что неправильно. Иными словами, большинство LCS, основанных на сильных сторонах, или LCS исключительно с контролируемым обучением, ищут набор правил эффективных обобщений в форме наилучшей карты действий (или частичной карты ). Сравнение силовой и точной подготовленности и карт полных и лучших действий с тех пор было изучено более подробно.

По следам XCS

XCS вдохновил на разработку совершенно нового поколения алгоритмов и приложений LCS. В 1995 году Конгдон первым применил LCS для реальных эпидемиологических исследований заболеваний. за ним внимательно следил Холмс, разработавший BOOLE++ , ЭпиКС , и позже EpiXCS по эпидемиологической классификации. Эти ранние работы вдохновили более поздний интерес к применению алгоритмов LCS для решения сложных и крупномасштабных задач интеллектуального анализа данных , воплощенных в приложениях биоинформатики . В 1998 году Штольцманн представил системы упреждающих классификаторов (ACS) , которые включали правила в форме «условие-действие-эффект», а не классическое представление «условие-действие». ACS была разработана для прогнозирования перцептивных последствий действия во всех возможных ситуациях в окружающей среде. Другими словами, система развивает модель, которая определяет не только то, что делать в конкретной ситуации, но также предоставляет информацию о том, что произойдет после выполнения определенного действия. Это семейство алгоритмов LCS лучше всего подходит для многоэтапных задач, планирования, ускорения обучения или устранения неоднозначности перцептивного наложения (т. е. когда одно и то же наблюдение получается в разных состояниях, но требует разных действий). Позже Бутц продолжил развитие этого предвосхищающего семейства LCS, разработав ряд улучшений исходного метода. В 2002 году Уилсон представил XCSF , добавив вычисляемое действие для выполнения аппроксимации функции. В 2003 году Бернадо-Мансилья представил систему контролируемой классификации (UCS) , которая специализировала алгоритм XCS для задач контролируемого обучения , одношаговых задач и формирования наилучшего набора действий. В UCS отказались от стратегии обучения с подкреплением в пользу простых, основанных на точности правил соответствия, а также этапов обучения/использования, характерных для многих методов обучения с подкреплением. Булл представил простую систему LCS, основанную на точности (YCS). и простая система минимальной классификации LCS (MCS), основанная на силе. для лучшего теоретического понимания структуры LCS. Bacardit представила GAssist и БиоХЭЛ , LCS питтсбургского типа, предназначенные для интеллектуального анализа данных и масштабируемости до больших наборов данных в приложениях биоинформатики . В 2008 году Другович опубликовал книгу под названием «Проектирование и анализ обучающихся систем классификаторов», включающую некоторые теоретические исследования алгоритмов LCS. Батц представил первую визуализацию онлайн-обучения по правилам в графическом интерфейсе для XCSF. (см. изображение вверху страницы). Урбанович расширил структуру UCS и представил ExSTraCS, специально предназначенную для контролируемого обучения в проблемных областях с большим количеством проблем (например, эпидемиологии и биоинформатики). ExSTraCS интегрировала (1) экспертные знания для управления покрытием и генетическим алгоритмом для выявления важных функций данных, (2) форма долговременной памяти, называемая отслеживанием атрибутов, обеспечивающее более эффективное обучение и характеристику шаблонов разнородных данных, а также (3) гибкое представление правил, подобное представлению смешанного дискретно-непрерывного списка атрибутов Bacardit. И Бакардит, и Урбанович исследовали стратегии статистики и визуализации для интерпретации правил LCS и обнаружения знаний для интеллектуального анализа данных. Браун и Икбал исследовали концепцию повторного использования строительных блоков в виде фрагментов кода и первыми решили задачу тестирования 135-битного мультиплексора, сначала изучив полезные строительные блоки на основе более простых задач мультиплексора. ExSTraCS 2.0 был позже представлен для улучшения масштабируемости LCS в мичиганском стиле, впервые успешно решая задачу тестирования 135-битного мультиплексора напрямую. Проблема n-битного мультиплексора весьма эпистатична и неоднородна , что делает ее очень сложной задачей машинного обучения .

Варианты

Система классификаторов обучения в Мичиганском стиле

LCS Мичиганского типа характеризуются совокупностью правил, в которой генетический алгоритм работает на уровне отдельных правил, а решение представлено всей совокупностью правил. Системы Мичиганского типа также обучаются постепенно, что позволяет им выполнять как обучение с подкреплением, так и обучение с учителем, а также онлайн- и оффлайн-обучение. Преимущество систем Мичиганского типа заключается в том, что они применимы к большему числу проблемных областей, а также обладают уникальными преимуществами поэтапного обучения.

Система классификаторов обучения в Питтсбургском стиле

LCS питтсбургского типа характеризуются совокупностью наборов правил переменной длины, где каждый набор правил является потенциальным решением. Генетический алгоритм обычно работает на уровне всего набора правил. Системы Питтсбургского типа также могут уникальным образом создавать упорядоченные списки правил, а также использовать правила по умолчанию. Эти системы имеют естественное преимущество, заключающееся в том, что они идентифицируют меньшие наборы правил, что делает их более интерпретируемыми при проверке правил вручную.

Гибридные системы

Также были предложены системы, которые стремятся объединить ключевые сильные стороны обеих систем.

Преимущества

• Адаптивность: они могут адаптироваться к меняющейся среде в случае онлайн-обучения.
• Отсутствие моделей: они делают ограниченные предположения об окружающей среде или о закономерностях связи в данных.
  • Они могут моделировать сложные, эпистатические, гетерогенные или распределенные базовые модели, не полагаясь на предварительные знания.
  • Они не делают никаких предположений о количестве прогнозирующих и непрогностических признаков в данных.
• Учащийся по ансамблю: к данному случаю не применяется ни одна модель, которая бы универсально обеспечивала прогноз. Вместо этого соответствующий и часто противоречивый набор правил способствует «голосованию», которое можно интерпретировать как нечеткое предсказание.
• Стохастический обучающийся: недетерминированное обучение выгодно в крупномасштабных задачах или задачах высокой сложности, где детерминированное или исчерпывающее обучение становится неразрешимым.
• Неявно многоцелевой: правила развиваются в сторону точности под неявным и явным давлением, способствующим максимальной общности/простоте. Это неявное давление обобщения уникально для LCS. По сути, в матчевых сетах будут чаще появляться более общие правила. В свою очередь, у них появляется более частая возможность быть выбранными в качестве родителей и передать свои более общие (геномы) потомкам правила.
• Интерпретируемость: в интересах интеллектуального анализа данных и обнаружения знаний отдельные правила LCS являются логическими и могут быть преобразованы в интерпретируемые человеком операторы IF:THEN. Также были внедрены эффективные стратегии, позволяющие обнаруживать глобальные знания, выявляя важные особенности и закономерности ассоциаций среди совокупности правил в целом.
• Гибкое приложение
  • Одно- или многоэтапные проблемы
  • Обучение под присмотром, с подкреплением или без присмотра
  • Бинарный класс и многоклассовая классификация
  • Регрессия
  • Дискретные или непрерывные функции (или сочетание обоих типов)
  • Чистые или шумные проблемные области
  • Сбалансированные или несбалансированные наборы данных.
  • Учитывает недостающие данные (т. е. отсутствующие значения признаков в обучающих экземплярах).

Недостатки

• Ограниченная доступность программного обеспечения. Существует ограниченное количество доступных реализаций LCS с открытым исходным кодом, и еще меньше тех, которые разработаны так, чтобы быть удобными для пользователя или доступными для специалистов по машинному обучению.
• Интерпретация. Хотя алгоритмы LCS, безусловно, более интерпретируемы, чем некоторые продвинутые программы машинного обучения, пользователи должны интерпретировать набор правил (иногда большие наборы правил, чтобы понять модель LCS). Методы уплотнения правил и стратегии интерпретации остаются областью активных исследований.
• Теория/доказательства сходимости: За алгоритмами LCS стоит относительно небольшой объем теоретических работ. Вероятно, это связано с их относительной алгоритмической сложностью (применением ряда взаимодействующих компонентов), а также их стохастической природой.
• Переобучение. Как и любое машинное обучение, LCS может пострадать от переоснащения, несмотря на неявное и явное давление обобщения.
• Параметры запуска: LCS часто имеет множество параметров запуска, которые необходимо учитывать/оптимизировать. Как правило, для большинства параметров можно оставить значения по умолчанию, определенные сообществом, за исключением двух критических параметров: максимального размера совокупности правил и максимального количества итераций обучения. Оптимизация этих параметров, вероятно, будет во многом зависеть от проблемы.
• Известность: несмотря на свой возраст, алгоритмы LCS до сих пор не получили широкой известности даже в сообществах машинного обучения. В результате алгоритмы LCS редко рассматриваются по сравнению с другими признанными подходами машинного обучения. Вероятно, это связано со следующими факторами: (1) LCS — это относительно сложный алгоритмический подход, (2) LCS, моделирование на основе правил — это другая парадигма моделирования, чем почти все другие подходы машинного обучения. (3) Реализации программного обеспечения LCS не так распространены.
• Вычислительно дорогостоящие: хотя алгоритмы LCS, безусловно, более осуществимы, чем некоторые исчерпывающие подходы, они могут быть дорогостоящими в вычислительном отношении. Для простых задач линейного обучения нет необходимости применять LCS. Алгоритмы LCS лучше всего подходят для сложных проблемных пространств или проблемных пространств, в которых имеется мало предварительных знаний.

Проблемные области

• Адаптивное управление
• Интеллектуальный анализ данных
• Инженерное проектирование
• Выбор функции
• Аппроксимация функции
• Игра-игра
• Классификация изображений
• Обработка знаний
• Медицинский диагноз
• Моделирование
• Навигация
• Оптимизация
• Прогноз
• Запрос
• Робототехника
• Маршрутизация
• Правило-индукция
• Планирование
• Стратегия

Терминология

Название «Система обучающих классификаторов (LCS)» немного вводит в заблуждение, поскольку существует множество алгоритмов машинного обучения , которые «учатся классифицировать» (например, деревья решений , искусственные нейронные сети ), но не являются LCS. Термин «машинное обучение на основе правил ( RBML )» полезен, поскольку он более четко отражает основной «основанный на правилах» компонент этих систем, но он также обобщает методы, которые не считаются LCS (например, обучение правилам ассоциации). или искусственные иммунные системы ). Более общие термины, такие как «машинное обучение на основе генетики» и даже «генетический алгоритм». также применялись для обозначения того, что более характерно было бы определить как систему классификаторов обучения. Из-за их сходства с генетическими алгоритмами системы обучающихся классификаторов питтсбургского типа иногда в целом называют «генетическими алгоритмами». Помимо этого, некоторые алгоритмы LCS или тесно связанные с ними методы называются «когнитивными системами». «адаптивные агенты», « производственные системы » или, в общем, «система классификаторов». Такое различие в терминологии вносит некоторую путаницу в этой области.

Вплоть до 2000-х годов почти все методы системы обучающих классификаторов разрабатывались с учетом проблем обучения с подкреплением. В результате термин «система обучающихся классификаторов» обычно определялся как комбинация обучения с подкреплением «методом проб и ошибок» с глобальным поиском генетического алгоритма. Интерес к приложениям обучения с учителем и даже к обучению без учителя с тех пор расширил использование и определение этого термина.

См. также

• Машинное обучение на основе правил
• Производственная система
• Экспертная система
• Генетический алгоритм
• Изучение правил ассоциации
• Искусственная иммунная система
• Популяционное дополнительное обучение
• Машинное обучение

Внешние ссылки

Видеоурок

• Коротко о системах классификаторов - (2016 г.) Изучите базовый алгоритм LCS, чтобы изучить их компоненты и то, как они работают.

Веб-страницы

• LCS и GBML Центральный
• Исследовательская группа классификаторов обучения UWE
• Прогноз динамики