Функция (машинное обучение)
 | Эта статья нуждается в дополнительных цитатах для проверки . ( декабрь 2014 г. ) |
| Часть серии о |
| Машинное обучение и интеллектуальный анализ данных |
|---|
В машинном обучении и распознавании образов особенность — это индивидуальное измеримое свойство или характеристика явления. [1] Выбор информативных, различающих и независимых признаков является важнейшим элементом эффективных алгоритмов распознавания , классификации и регрессии образов . структурные функции, такие как строки и графики используются Функции обычно являются числовыми, но при распознавании синтаксических образов . Понятие «признак» связано с понятием объясняющей переменной, используемой в статистических методах, таких как линейная регрессия .
Типы объектов [ править ]
В разработке признаков обычно используются два типа признаков: числовые и категориальные.
Числовые характеристики — это непрерывные значения, которые можно измерить по шкале. Примеры числовых характеристик включают возраст, рост, вес и доход. Числовые функции можно напрямую использовать в алгоритмах машинного обучения. [ нужна ссылка ]
Категориальные признаки — это дискретные значения, которые можно сгруппировать по категориям. Примеры категориальных признаков включают пол, цвет и почтовый индекс. Категориальные функции обычно необходимо преобразовать в числовые функции, прежде чем их можно будет использовать в алгоритмах машинного обучения. Это можно сделать с помощью различных методов, таких как горячее кодирование, кодирование меток и порядковое кодирование.
Тип функции, используемой при разработке функций, зависит от конкретного используемого алгоритма машинного обучения. Некоторые алгоритмы машинного обучения, такие как деревья решений, могут обрабатывать как числовые, так и категориальные характеристики. Другие алгоритмы машинного обучения, такие как линейная регрессия, могут обрабатывать только числовые характеристики.
Классификация [ править ]
Числовой признак можно удобно описать вектором признаков. Один из способов добиться двоичной классификации — использовать функцию линейного предиктора (связанную с персептроном ) с вектором признаков в качестве входных данных. Метод состоит в вычислении скалярного произведения между вектором признаков и вектором весов, квалифицирующем те наблюдения, результат которых превышает пороговое значение.
Алгоритмы классификации по вектору признаков включают классификацию ближайших соседей , нейронные сети и статистические методы , такие как байесовский подход .
Примеры [ править ]
Функции распознавания символов могут включать гистограммы, подсчитывающие количество черных пикселей по горизонтали и вертикали, количество внутренних отверстий, обнаружение штрихов и многие другие.
При распознавании речи функции распознавания фонем могут включать в себя соотношение шумов, длину звуков, относительную мощность, совпадения фильтров и многие другие.
В алгоритмах обнаружения спама функции могут включать наличие или отсутствие определенных заголовков электронной почты, структура письма, язык, частота употребления конкретных терминов, грамматическая правильность текста.
В компьютерном зрении существует большое количество возможных функций , таких как края и объекты.
Векторы признаков [ править ]
В распознавании образов и машинном обучении вектор признаков — это n-мерный вектор числовых признаков, которые представляют некоторый объект. Многие алгоритмы машинного обучения требуют числового представления объектов, поскольку такие представления облегчают обработку и статистический анализ. При представлении изображений значения признаков могут соответствовать пикселям изображения, а при представлении текста — частоте появления текстовых терминов. Векторы признаков эквивалентны векторам объясняющих переменных, используемых в статистических процедурах, таких как линейная регрессия . Векторы признаков часто комбинируются с весами с использованием скалярного произведения , чтобы построить функцию линейного прогнозирования , которая используется для определения оценки для прогнозирования.
Векторное пространство, связанное с этими векторами, часто называют пространством признаков . Чтобы уменьшить размерность пространства признаков, уменьшения размерности можно использовать ряд методов .
Функции более высокого уровня можно получить из уже доступных функций и добавить в вектор функций; например, для изучения заболеваний полезен признак «Возраст», который определяется как Возраст = «Год смерти» минус «Год рождения» . Этот процесс называется созданием функции . [2] [3] Построение признаков — это применение набора конструктивных операторов к набору существующих признаков, приводящее к созданию новых признаков. Примеры таких конструктивных операторов включают проверку условий равенства {=, ≠}, арифметические операторы {+,−,×, /}, операторы массива {max(S), min(S), Average(S)} как а также другие более сложные операторы, например count(S,C) [4] который подсчитывает количество признаков в векторе признаков S, удовлетворяющих некоторому условию C, или, например, расстояния до других классов распознавания, обобщенных каким-либо принимающим устройством. Построение признаков уже давно считается мощным инструментом для повышения точности и понимания структуры, особенно в задачах большой размерности. [5] Приложения включают исследования болезней и распознавание эмоций по речи. [6]
Отбор и извлечение [ править ]
Первоначальный набор необработанных функций может быть избыточным и достаточно большим, что оценка и оптимизация будут затруднены или неэффективны. Таким образом, предварительный шаг во многих приложениях машинного обучения и распознавания образов состоит в выборе подмножества функций или создании нового и сокращенного набора функций для облегчения обучения, а также для улучшения обобщения и интерпретируемости. [7]
Извлечение или выбор функций — это сочетание искусства и науки; Разработка систем для этого известна как разработка функций . Это требует экспериментирования с множеством возможностей и сочетания автоматизированных методов с интуицией и знаниями эксперта в предметной области . Автоматизация этого процесса — это обучение функциям , при котором машина не только использует функции для обучения, но и сама изучает эти функции.
См. также [ править ]
- Ковариата
- Уменьшение размерности
- Разработка функций
- Хеш-трюк
- Статистическая классификация
- Объяснимый искусственный интеллект
Ссылки [ править ]
- ^ Бишоп, Кристофер (2006). Распознавание образов и машинное обучение . Берлин: Шпрингер. ISBN 0-387-31073-8 .
- ^ Лю, Х., Мотода Х. (1998) Выбор функций для обнаружения знаний и интеллектуального анализа данных . , Академическое издательство Kluwer. Норвелл, Массачусетс, США. 1998.
- ^ Пирамуту, С., Сикора Р.Т. Итеративное построение признаков для улучшения алгоритмов индуктивного обучения . В журнале экспертных систем с приложениями. Том. 36, Вып. 2 (март 2009 г.), стр. 3401-3406, 2009 г.
- ^ Блодорн, Э., Михальски, Р. Конструктивная индукция, управляемая данными: методология и ее приложения. Интеллектуальные системы IEEE, специальный выпуск о преобразовании функций и выборе подмножества, стр. 30–37, март/апрель 1998 г.
- ^ Брейман, Л. Фридман, Т., Олшен, Р., Стоун, К. (1984) Деревья классификации и регрессии , Уодсворт
- ^ Сидорова Дж., Бадиа Т. Синтаксическое обучение для ESEDA.1, инструмента для расширенного обнаружения и анализа речевых эмоций . Конференция по Интернет-технологиям и защищенным транзакциям 2009 (ICITST-2009), Лондон, 9–12 ноября. IEEE
- ^ Хасти, Тревор; Тибширани, Роберт; Фридман, Джером Х. (2009). Элементы статистического обучения: интеллектуальный анализ данных, логический вывод и прогнозирование . Спрингер. ISBN 978-0-387-84884-6 .