Статистическая классификация

Когда классификация выполняется с помощью компьютера, для разработки алгоритма обычно используются статистические методы.

Часто отдельные наблюдения анализируются с целью получения набора количественных свойств, известных как объясняющие переменные или характеристики . Эти свойства могут быть категориальными (например, «A», «B», «AB» или «O» для группы крови ), порядковыми (например, «большой», «средний» или «малый»), целочисленными (например, количество появлений определенного слова в электронном письме ) или вещественное значение (например, измерение артериального давления ). Другие классификаторы работают путем сравнения наблюдений с предыдущими наблюдениями с помощью функции сходства или расстояния .

Алгоритм , реализующий классификацию, особенно в конкретной реализации, известен как классификатор . Термин «классификатор» иногда также относится к математической функции , реализуемой алгоритмом классификации, которая отображает входные данные в категорию.

Терминология в разных областях весьма разнообразна. В статистике , где классификация часто выполняется с помощью логистической регрессии или аналогичной процедуры, свойства наблюдений называются объясняющими переменными (или независимыми переменными , регрессорами и т. д.), а прогнозируемые категории известны как результаты, которые считаются быть возможными значениями зависимой переменной . В машинном обучении наблюдения часто называют экземплярами , независимые переменные называются признаками (сгруппированными в вектор признаков ), а возможные категории, подлежащие прогнозированию, — классами . В других областях может использоваться другая терминология: например, в экологии сообществ термин «классификация» обычно относится к кластерному анализу .

Связь с другими проблемами

Классификация и кластеризация являются примерами более общей проблемы распознавания образов , которая заключается в присвоении некоторого вида выходного значения заданному входному значению. Другими примерами являются регрессия , которая присваивает каждому входу выходной сигнал с действительным знаком; маркировка последовательности , которая присваивает класс каждому члену последовательности значений (например, маркировка части речи , которая присваивает часть речи каждому слову во входном предложении); синтаксический анализ , который присваивает дерево разбора входному предложению , описывающее синтаксическую структуру предложения; и т. д.

Распространенным подклассом классификации является вероятностная классификация . Алгоритмы такого типа используют статистический вывод , чтобы найти лучший класс для данного экземпляра. В отличие от других алгоритмов, которые просто выводят «лучший» класс, вероятностные алгоритмы выводят вероятность того, что экземпляр является членом каждого из возможных классов. Лучший класс обычно выбирается как класс с наибольшей вероятностью. Однако такой алгоритм имеет множество преимуществ перед невероятностными классификаторами:

• Он может выводить значение достоверности, связанное с его выбором (как правило, классификатор, который может это делать, известен как классификатор, взвешенный по доверию ).
• Соответственно, он может воздержаться , если его уверенность в выборе какого-либо конкретного результата слишком низка.
• Благодаря генерируемым вероятностям вероятностные классификаторы можно более эффективно включать в более крупные задачи машинного обучения таким образом, чтобы частично или полностью избежать проблемы распространения ошибок .

Частые процедуры

Ранние работы по статистической классификации были предприняты Фишером . в контексте задач с двумя группами, что приводит к линейной дискриминантной функции Фишера как правилу назначения группы новому наблюдению. В этой ранней работе предполагалось, что значения данных внутри каждой из двух групп имеют многомерное нормальное распределение . Распространение этого же контекста на более чем две группы также рассматривалось с ограничением, согласно которому правило классификации должно быть линейным . Более поздняя работа над многомерным нормальным распределением позволила сделать классификатор нелинейным : можно вывести несколько правил классификации на основе различных корректировок расстояния Махаланобиса , при этом новое наблюдение будет присвоено группе, центр которой имеет наименьшее скорректированное расстояние от наблюдения.

Байесовские процедуры

В отличие от частотных процедур, процедуры байесовской классификации обеспечивают естественный способ учета любой доступной информации об относительных размерах различных групп в общей популяции. Байесовские процедуры, как правило, требуют больших вычислительных затрат, и задолго до того, как были разработаны вычисления Монте-Карло с использованием цепей Маркова , были разработаны аппроксимации для правил байесовской кластеризации.

Некоторые байесовские процедуры включают расчет вероятностей членства в группе : они обеспечивают более информативный результат, чем простое присвоение одной групповой метки каждому новому наблюдению.

и

Классификацию можно рассматривать как две отдельные проблемы — бинарную классификацию и мультиклассовую классификацию . В бинарной классификации, более понятной задаче, задействованы только два класса, тогда как многоклассовая классификация предполагает отнесение объекта к одному из нескольких классов. Поскольку многие методы классификации были разработаны специально для бинарной классификации, многоклассовая классификация часто требует совместного использования нескольких двоичных классификаторов.

Векторы признаков

Основная статья: Вектор признаков

Большинство алгоритмов описывают отдельный экземпляр, категория которого должна быть предсказана с использованием вектора признаков отдельных измеримых свойств экземпляра. Каждое свойство называется признаком , также известным в статистике как объясняющая переменная (или независимая переменная , хотя признаки могут быть или не быть статистически независимыми ). Функции могут быть двоичными (например, «включено» или «выключено»); категориальный (например, «А», «В», «АВ» или «О» для группы крови ); порядковый номер (например, «большой», «средний» или «маленький»); целочисленное значение (например, количество вхождений определенного слова в электронное письмо); или вещественное значение (например, измерение артериального давления). Если экземпляр является изображением, значения признаков могут соответствовать пикселям изображения; если экземпляр представляет собой фрагмент текста, значения признаков могут быть частотами появления разных слов. Некоторые алгоритмы работают только с дискретными данными и требуют, чтобы вещественные или целочисленные данные были дискретизированы на группы (например, меньше 5, от 5 до 10 или больше 10).

Линейные классификаторы

Основная статья: Линейный классификатор

Большое количество алгоритмов классификации можно сформулировать в виде линейной функции , которая присваивает балл каждой возможной категории k путем объединения вектора признаков экземпляра с вектором весов с использованием скалярного произведения . Прогнозируемая категория — это категория с наивысшим баллом. Этот тип функции оценки известен как функция линейного прогнозирования и имеет следующую общую форму: $$\operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},$$где X _i — вектор признаков, например i , β _k — вектор весов, соответствующий категории k , а Score( X _i , k ) — это оценка, связанная с присвоением экземпляра i категории k . В теории дискретного выбора , где экземпляры представляют людей, а категории представляют выбор, оценка считается полезностью, связанной с человеком i, выбирающим категорию k .

Алгоритмы с такой базовой настройкой известны как линейные классификаторы . Что их отличает, так это процедура определения (обучения) оптимальных весов/коэффициентов и способ интерпретации результатов.

Примеры таких алгоритмов включают в себя

• Логистическая регрессия - Статистическая модель для бинарной зависимой переменной.
  • Полиномиальная логистическая регрессия - регрессия для более чем двух дискретных результатов.
• Пробит-регрессия – статистическая регрессия, при которой зависимая переменная может принимать только два значения. Страницы с краткими описаниями целей перенаправления.
• Алгоритм перцептрона ​
• Машина опорных векторов - набор методов контролируемого статистического обучения.
• Линейный дискриминантный анализ - метод, используемый в статистике, распознавании образов и других областях.

Алгоритмы

Поскольку ни одна форма классификации не подходит для всех наборов данных, был разработан большой набор алгоритмов классификации. К наиболее часто используемым относятся:

• Искусственные нейронные сети — вычислительная модель, используемая в машинном обучении, основанная на связанных иерархических функциях. Страницы, отображающие краткие описания целей перенаправления.
• Повышение (мета-алгоритм) — метод машинного обучения. Страницы, отображающие краткие описания целей перенаправления.
• Обучение дереву решений – алгоритм машинного обучения
  • Случайный лес — метод ансамблевого машинного обучения на основе двоичного дерева поиска.
• Генетическое программирование - развитие компьютерных программ с использованием методов, аналогичных естественным генетическим процессам.
  • Программирование экспрессии генов – эволюционный алгоритм
  • Мультивыраженное программирование
  • Линейное генетическое программирование - тип алгоритма генетического программирования. Страницы, отображающие описания викиданных в качестве запасного варианта.
• Оценка ядра — оконная функция. Страницы, отображающие краткие описания целей перенаправления.
  • k-ближайший сосед — метод непараметрической классификации. Страницы с краткими описаниями целей перенаправления.
• Обучение векторному квантованию
• Линейный классификатор - Статистическая классификация в машинном обучении
  • Линейный дискриминант Фишера — метод, используемый в статистике, распознавании образов и других областях. Страницы с краткими описаниями целей перенаправления.
  • Логистическая регрессия - Статистическая модель для бинарной зависимой переменной.
  • Наивный классификатор Байеса - алгоритм вероятностной классификации
  • Персептрон - алгоритм контролируемого обучения бинарных классификаторов
• Квадратичный классификатор - используется в машинном обучении для разделения измерений двух или более классов объектов. Страницы, отображающие описания викиданных в качестве запасного варианта.
• Машина опорных векторов - набор методов контролируемого статистического обучения.
  • Машина векторов поддержки наименьших квадратов

Выбор между различными возможными алгоритмами часто делается на основе количественной оценки точности .

Домены приложений

См. Также: Кластерный анализ § Приложения.

Классификация имеет множество применений. В некоторых из них он используется в качестве процедуры интеллектуального анализа данных , тогда как в других проводится более детальное статистическое моделирование.

• Биологическая классификация - наука об идентификации, описании, определении и названии групп биологических организмов.
• Биометрические показатели — показатели, связанные с человеческими характеристиками. Страницы с кратким описанием идентификации целей перенаправления.
• Компьютерное зрение – компьютеризированное извлечение информации из изображений.
  • Анализ медицинских изображений и медицинская визуализация . Техника и процесс создания визуальных представлений внутренней части тела.
  • Оптическое распознавание символов – Компьютерное распознавание визуального текста.
  • Отслеживание видео — поиск объекта в каждом кадре видеопоследовательности. Страницы, отображающие описания викиданных в качестве запасного варианта.
• Кредитный скоринг — числовое выражение, представляющее кредитоспособность человека. Страницы, отображающие краткие описания целей перенаправления.
• Классификация документов . Процесс категоризации документов.
• лекарств Открытие и разработка – процесс вывода на рынок нового фармацевтического препарата.
  • Токсикогеномика - раздел токсикологии и геномики. Страницы, отображающие описания викиданных в качестве запасного варианта.
  • Количественная взаимосвязь структура-активность – прогнозирующая химическая модель. Страницы с краткими описаниями целей перенаправления.
• Геостатистика - раздел статистики, специализирующийся на наборах пространственных данных.
• Распознавание рукописного ввода - способность компьютера получать и интерпретировать понятный рукописный ввод.
• Интернета Поисковые системы
• Классификация микрочипов
• Распознавание образов – автоматическое распознавание закономерностей и закономерностей в данных.
• Рекомендательная система – система фильтрации информации для прогнозирования предпочтений пользователей.
• Распознавание речи – автоматическое преобразование разговорной речи в текст.
• Статистическая обработка естественного языка - область лингвистики и информатики. Страницы с краткими описаниями целей перенаправления.

См. также

• Искусственный интеллект - Интеллект машин
• Бинарная классификация - классификация элементов набора на одну или две группы.
• Мультиклассовая классификация - проблема машинного обучения и статистической классификации.
• Вероятности членства в классе — задача машинного обучения. Страницы с краткими описаниями целей перенаправления.
• Правило классификации
• Обработка сложных терминов
• Матрица путаницы — макет таблицы для визуализации производительности; также называется матрицей ошибок
• Интеллектуальный анализ данных — процесс извлечения и обнаружения закономерностей в больших наборах данных.
• Хранилище данных – Централизованное хранилище знаний
• Нечеткая логика - система рассуждений о неопределенности.
• Поиск информации - получение информационных ресурсов, соответствующих информационной потребности.
• Список наборов данных для исследований в области машинного обучения
• Машинное обучение – изучение алгоритмов, которые автоматически улучшаются на основе опыта.
• Рекомендательная система – система фильтрации информации для прогнозирования предпочтений пользователей.