Jump to content

Распознавание образов

(Перенаправлено из Анализа закономерностей )

Распознавание образов — это задача присвоения класса наблюдению на основе закономерностей, извлеченных из данных. Несмотря на схожесть, распознавание образов (PR) не следует путать с машинами по шаблонам (PM), которые могут обладать возможностями (PR), но их основная функция — различать и создавать возникающие шаблоны. PR находит применение в статистическом анализе данных , обработке сигналов , анализе изображений , поиске информации , биоинформатике , сжатии данных , компьютерной графике и машинном обучении . Распознавание образов берет свое начало в статистике и технике; некоторые современные подходы к распознаванию образов включают использование машинного обучения из-за возросшей доступности больших данных и нового изобилия вычислительных мощностей .

Системы распознавания образов обычно обучаются на основе помеченных «обучающих» данных. Когда помеченные данные недоступны, для обнаружения ранее неизвестных закономерностей можно использовать другие алгоритмы. KDD и интеллектуальный анализ данных уделяют больше внимания неконтролируемым методам и более тесной связи с бизнес-использованием. Распознавание образов больше фокусируется на сигнале, а также принимает во внимание сбор и обработку сигнала . Он возник в области инженерии , и этот термин популярен в контексте компьютерного зрения : ведущая конференция по компьютерному зрению называется «Конференция по компьютерному зрению и распознаванию образов» .

В машинном обучении распознавание образов — это присвоение метки заданному входному значению. В статистике дискриминантный анализ был введен с той же целью в 1936 году. Примером распознавания образов является классификация , которая пытается отнести каждое входное значение к одному из заданного набора классов (например, определить, является ли данное электронное письмо «спамом»). ). Распознавание образов — это более общая проблема, которая охватывает и другие типы вывода. Другими примерами являются регрессия , которая присваивает с действительным знаком ; каждому входу выходной сигнал [1] маркировка последовательности , которая присваивает класс каждому члену последовательности значений. [2] (например, маркировка частей речи , которая присваивает часть речи каждому слову во входном предложении); и синтаксический анализ , который присваивает дерево разбора входному предложению , описывающее синтаксическую структуру предложения. [3]

Алгоритмы распознавания образов обычно стремятся предоставить разумный ответ для всех возможных входных данных и выполнить «наиболее вероятное» сопоставление входных данных с учетом их статистических вариаций. Это противоположность алгоритмам сопоставления шаблонов , которые ищут точные совпадения во входных данных с уже существующими шаблонами. Типичным примером алгоритма сопоставления с образцом является сопоставление с регулярными выражениями , которое ищет шаблоны заданного типа в текстовых данных и включено в возможности поиска многих текстовых редакторов и текстовых процессоров .

Современное определение распознавания образов таково:

Область распознавания образов связана с автоматическим обнаружением закономерностей в данных с помощью компьютерных алгоритмов и использованием этих закономерностей для принятия таких действий, как классификация данных по различным категориям. [4]

Распознавание образов обычно классифицируется в зависимости от типа процедуры обучения, используемой для генерации выходного значения. Обучение с учителем набор обучающих данных ( обучающий набор предполагает, что предоставлен ), состоящий из набора экземпляров, которые были правильно помечены вручную с правильными выходными данными. Затем процедура обучения генерирует модель, которая пытается достичь двух иногда противоречивых целей: максимально эффективно работать с обучающими данными и как можно лучше обобщать новые данные (обычно это означает максимально простую модель для некоторых технических определений). «простого», в соответствии с бритвой Оккама , обсуждаемой ниже). С другой стороны, обучение без учителя предполагает, что данные обучения не были помечены вручную, и пытается найти в данных присущие закономерности, которые затем можно использовать для определения правильного выходного значения для новых экземпляров данных. [5] Исследованная комбинация этих двух методов представляет собой полуконтролируемое обучение , в котором используется комбинация размеченных и неразмеченных данных (обычно небольшой набор размеченных данных в сочетании с большим объемом неразмеченных данных). В случае обучения без учителя данные обучения могут вообще отсутствовать.

Иногда для описания соответствующих контролируемых и неконтролируемых процедур обучения для одного и того же типа результатов используются разные термины. Неконтролируемый эквивалент классификации обычно известен как кластеризация , основанный на общепринятом восприятии задачи как не требующей никаких обучающих данных, о которых можно было бы говорить, и группировки входных данных в кластеры на основе некоторой внутренней меры сходства (например, расстояния между экземплярами, рассматриваемого как как векторы в многомерном векторном пространстве ), вместо того, чтобы относить каждый входной экземпляр к одному из набора заранее определенных классов. В некоторых областях терминология отличается. В экологии сообществ термин «классификация» используется для обозначения того, что обычно называют «кластеризацией».

Часть входных данных, для которой генерируется выходное значение, формально называется экземпляром . Экземпляр формально описывается вектором признаков , которые в совокупности составляют описание всех известных характеристик экземпляра. Эти векторы признаков можно рассматривать как определяющие точки в соответствующем многомерном пространстве методы манипулирования векторами в векторных пространствах , и к ним можно соответствующим образом применять , такие как вычисление скалярного произведения или угла между двумя векторами. Признаки обычно являются либо категориальными (также известными как номинальные , т. е. состоящими из одного из набора неупорядоченных элементов, таких как пол «мужской» или «женский», или группа крови «А», «В», «А». AB" или "O"), порядковый (состоящий из одного из множества упорядоченных элементов, например, "большой", "средний" или "маленький"), целочисленный (например, количество появлений конкретное слово в электронном письме) или вещественное значение (например, измерение артериального давления). Часто категориальные и порядковые данные группируются вместе, и это также относится к целочисленным и действительным данным. Многие алгоритмы работают только с категориальными данными и требуют, чтобы данные были действительными или целочисленными. дискретизированы на группы (например, менее 5, от 5 до 10 или более 10).

Вероятностные классификаторы

[ редактировать ]

Многие распространенные алгоритмы распознавания образов носят вероятностный характер, поскольку они используют статистический вывод для поиска лучшей метки для данного экземпляра. В отличие от других алгоритмов, которые просто выводят «наилучшую» метку, часто вероятностные алгоритмы также выводят вероятность того, что экземпляр описывается данной меткой. Кроме того, многие вероятностные алгоритмы выводят список N -лучших меток с соответствующими вероятностями для некоторого значения N вместо просто одной лучшей метки. Когда количество возможных меток довольно мало (например, в случае классификации ), N может быть установлено так, чтобы выдавалась вероятность всех возможных меток. Вероятностные алгоритмы имеют множество преимуществ перед невероятностными алгоритмами:

  • Они выводят значение достоверности, связанное с их выбором. (Обратите внимание, что некоторые другие алгоритмы также могут выводить доверительные значения, но, как правило, только для вероятностных алгоритмов это значение математически обосновано в теории вероятностей . Невероятностным доверительным значениям, как правило, не может быть придано какое-либо конкретное значение, и они используются только для сравнения с другие значения достоверности, выводимые тем же алгоритмом.)
  • Соответственно, они могут воздержаться , когда уверенность в выборе какого-либо конкретного результата слишком низка.
  • Благодаря выходным данным вероятностей вероятностные алгоритмы распознавания образов могут более эффективно включаться в более крупные задачи машинного обучения таким образом, чтобы частично или полностью избежать проблемы распространения ошибок .

Количество важных переменных функции

[ редактировать ]

Алгоритмы выбора функций пытаются напрямую исключить избыточные или ненужные функции. общее введение в выбор функций , в котором суммированы подходы и проблемы. Было дано [6] Сложность выбора признаков из-за его немонотонного характера представляет собой задачу оптимизации , если задано общее количество имеет набор мощности, состоящий из всех необходимо изучить подмножества функций. Алгоритм ветвей и границ [7] действительно уменьшает эту сложность, но является трудноразрешимой для средних и больших значений количества доступных функций.

Методы преобразования необработанных векторов признаков ( извлечение признаков ) иногда используются до применения алгоритма сопоставления с образцом. Алгоритмы извлечения признаков пытаются уменьшить вектор признаков большой размерности в вектор меньшей размерности, с которым легче работать и который кодирует меньшую избыточность, используя математические методы, такие как анализ главных компонентов (PCA). Разница между выбором признаков и извлечением признаков состоит в том, что полученные признаки после извлечения признаков имеют вид, отличный от исходных признаков, и их нелегко интерпретировать, в то время как признаки, оставшиеся после выбора признаков, представляют собой просто подмножество исходных признаков. .

Постановка задачи

[ редактировать ]

Задачу распознавания образов можно сформулировать следующим образом: дана неизвестная функция ( основная истина ), которая отображает входные экземпляры для вывода меток вместе с обучающими данными предполагается, что они представляют собой точные примеры отображения, создают функцию которое максимально точно аппроксимирует правильное отображение . (Например, если проблема в фильтрации спама, то это некоторое представление электронной почты и является либо «спамом», либо «не спамом»). Чтобы это была четко определенная проблема, необходимо строго определить «аппроксимацию как можно ближе». В теории принятия решений это определяется путем указания функции потерь или функции затрат, которая присваивает определенное значение «потере», возникающей в результате создания неправильной метки. Тогда цель состоит в том, чтобы минимизировать ожидаемые потери, при этом ожидание принимается за вероятностей распределение . На практике ни распределение ни функция основной истины точно известны, но могут быть вычислены только эмпирически путем сбора большого количества образцов и пометить их вручную, используя правильное значение (это трудоемкий процесс, который обычно является ограничивающим фактором в объеме данных такого рода, которые могут быть собраны). Конкретная функция потерь зависит от типа прогнозируемой метки. Например, в случае классификации часто бывает достаточно простой функции потерь ноль-единица . Это соответствует просто присвоению потери 1 любой неправильной маркировке и подразумевает, что оптимальный классификатор минимизирует частоту ошибок на независимых тестовых данных (т. е. подсчитывает долю экземпляров, в которых изученная функция метки ошибочны, что эквивалентно максимизации числа правильно классифицированных экземпляров). Целью процедуры обучения является минимизация частоты ошибок (максимизация правильности ) на «типичном» наборе тестов.

Вместо этого для вероятностного распознавателя образов проблема состоит в том, чтобы оценить вероятность каждой возможной выходной метки для конкретного входного экземпляра, т. е. оценить функцию вида

где данные вектора признаков входные , а функция f обычно параметризуется некоторыми параметрами . [8] При дискриминационном подходе к проблеме f оценивается напрямую. Однако в генеративном подходе обратная вероятность вместо этого оценивается и объединяется с априорной вероятностью используя правило Байеса , следующим образом:

Когда метки распределены непрерывно (например, при регрессионном анализе ), знаменатель включает в себя интеграцию , а не суммирование:

Стоимость обычно изучается с использованием максимальной апостериорной оценки (MAP). Это находит лучшее значение, которое одновременно отвечает двум конфликтующим целям: максимально эффективно работать с обучающими данными (наименьшая частота ошибок ) и найти простейшую возможную модель. По сути, это сочетает в себе максимального правдоподобия оценку с процедурой регуляризации , которая отдает предпочтение более простым моделям по сравнению с более сложными. В байесовском контексте процедуру регуляризации можно рассматривать как размещение априорной вероятности на разных значениях . Математически:

где значение, используемое для в последующей процедуре оценки, и , вероятность апостериорная , определяется

В байесовском подходе к этой проблеме вместо выбора одного вектора параметров , вероятность данной метки для нового экземпляра вычисляется путем интегрирования по всем возможным значениям , взвешенный в соответствии с апостериорной вероятностью:

Частотный или байесовский подход к распознаванию образов

[ редактировать ]

Первый классификатор шаблонов – линейный дискриминант, представленный Фишером – был разработан в частотной традиции. Частотный подход предполагает, что параметры модели считаются неизвестными, но объективными. Затем параметры вычисляются (оцениваются) на основе собранных данных. Для линейного дискриминанта этими параметрами являются в точности средние векторы и ковариационная матрица . Также вероятность каждого класса оценивается на основе собранного набора данных. Обратите внимание, что использование « правила Байеса » в классификаторе шаблонов не делает классификацию байесовской.

Байесовская статистика берет свое начало в греческой философии, где уже проводилось различие между « априорным » и « апостериорным » знанием. Позже Кант определил различие между тем, что известно априорно – до наблюдения – и эмпирическим знанием, полученным в результате наблюдений. В классификаторе байесовских шаблонов вероятности классов могут быть выбраны пользователем, которые затем априори. Более того, опыт, количественно выраженный как априорные значения параметров, может быть взвешен с помощью эмпирических наблюдений – с использованием, например, бета-распределения ( сопряженного априорного распределения ) и распределения Дирихле . Байесовский подход способствует плавному смешению экспертных знаний в форме субъективных вероятностей и объективных наблюдений.

Классификаторы вероятностных шаблонов могут использоваться в соответствии с частотным или байесовским подходом.

Использование

[ редактировать ]
Лицо автоматически распознавалось специальным программным обеспечением.

В медицинской науке распознавание образов является основой систем компьютерной диагностики (CAD). CAD описывает процедуру, которая подтверждает интерпретации и выводы врача. Другими типичными применениями методов распознавания образов являются автоматическое распознавание речи , идентификация говорящего , классификация текста на несколько категорий (например, спам или неспамовые сообщения электронной почты), автоматическое распознавание рукописного текста на почтовых конвертах, автоматическое распознавание изображений человеческих лиц, или извлечение изображений рукописного текста из медицинских форм. [9] [10] Последние два примера образуют подтему анализа изображений при распознавании образов, в которой цифровые изображения используются в качестве входных данных для систем распознавания образов. [11] [12]

Оптическое распознавание символов является примером применения классификатора образов. Начиная с 1990 года метод подписи своего имени был зафиксирован с помощью стилуса и наложения. [ нужна ссылка ] Ходы, скорость, относительный минимум, относительный максимум, ускорение и давление используются для однозначной идентификации и подтверждения личности. Банкам впервые предложили эту технологию, но они были довольны тем, что FDIC взимает плату за любое банковское мошенничество, и не хотели причинять неудобства клиентам. [ нужна ссылка ]

Распознавание образов имеет множество реальных приложений при обработке изображений. Вот некоторые примеры:

В психологии распознавание образов используется для понимания и идентификации объектов и тесно связано с восприятием. Это объясняет, как сенсорные данные, которые получают люди, обретают смысл. Распознавание образов можно рассматривать двумя разными способами. Первый касается сопоставления шаблонов, а второй — обнаружения функций. Шаблон – это выкройка, используемая для изготовления предметов одинаковых пропорций. Гипотеза сопоставления шаблонов предполагает, что поступающие стимулы сравниваются с шаблонами в долговременной памяти. Если совпадение есть, стимул идентифицируется. Модели обнаружения признаков, такие как система Pandemonium для классификации букв (Selfridge, 1959), предполагают, что стимулы для идентификации разбиваются на составные части. Одним из наблюдений является заглавная буква E, имеющая три горизонтальные линии и одну вертикальную линию. [22]

Алгоритмы

[ редактировать ]

Алгоритмы распознавания образов зависят от типа вывода метки, от того, является ли обучение контролируемым или неконтролируемым, а также от того, является ли алгоритм статистическим или нестатистическим по своей природе. Статистические алгоритмы можно далее разделить на генеративные и дискриминационные .

Методы классификации (методы прогнозирования категориальных меток)

[ редактировать ]

Параметрический: [23]

Непараметрические: [24]

Методы кластеризации (методы классификации и прогнозирования категориальных меток)

[ редактировать ]

Алгоритмы ансамблевого обучения (контролируемые метаалгоритмы для объединения нескольких алгоритмов обучения вместе)

[ редактировать ]

Общие методы прогнозирования меток произвольной структуры (наборов)

[ редактировать ]

Алгоритмы обучения многолинейному подпространству (предсказание меток многомерных данных с использованием тензорных представлений)

[ редактировать ]

Без присмотра:

Методы маркировки вещественных последовательностей (прогнозирование последовательностей вещественных меток)

[ редактировать ]

Методы регрессии (прогнозирование действительных меток)

[ редактировать ]

Методы маркировки последовательностей (прогнозирование последовательностей категориальных меток)

[ редактировать ]

См. также

[ редактировать ]
  1. ^ Ховард, WR (20 февраля 2007 г.). «Распознавание образов и машинное обучение». Кибернет . 36 (2): 275. дои : 10.1108/03684920710743466 . ISSN   0368-492X .
  2. ^ «Маркировка последовательностей» (PDF) . Юта.edu . Архивировано (PDF) из оригинала 6 ноября 2018 г. Проверено 6 ноября 2018 г.
  3. ^ Ян., Чизуэлл (2007). Математическая логика, с. 34 . Издательство Оксфордского университета. ISBN  9780199215621 . OCLC   799802313 .
  4. ^ Бишоп, Кристофер М. (2006). Распознавание образов и машинное обучение . Спрингер.
  5. ^ Карвалько-младший, Престон К. (1972). «Об определении оптимальных простых преобразований разметки Голея для обработки двоичных изображений». Транзакции IEEE на компьютерах . 21 (12): 1430–33. дои : 10.1109/TC.1972.223519 . S2CID   21050445 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка ) .
  6. ^ Изабель Гийон Клопине, Андре Елисеев (2003). Введение в выбор переменных и функций . Журнал исследований машинного обучения, Vol. 3, 1157–1182. Ссылка заархивирована 4 марта 2016 г. на Wayback Machine.
  7. ^ Иман Форутан; Джек Склански (1987). «Выбор функций для автоматической классификации негауссовских данных». Транзакции IEEE по системам, человеку и кибернетике . 17 (2): 187–198. дои : 10.1109/TSMC.1987.4309029 . S2CID   9871395 . .
  8. ^ Для линейного дискриминантного анализа вектор параметров состоит из двух средних векторов и и общая ковариационная матрица .
  9. ^ Милевски, Роберт; Говиндараджу, Вену (31 марта 2008 г.). «Бинаризация и очистка рукописного текста от копий изображений медицинских форм» . Распознавание образов . 41 (4): 1308–1315. Бибкод : 2008PatRe..41.1308M . дои : 10.1016/j.patcog.2007.08.018 . Архивировано из оригинала 10 сентября 2020 года . Проверено 26 октября 2011 г.
  10. ^ Саранги, Сусанта; Сахидулла, Мэриленд; Саха, Гутам (сентябрь 2020 г.). «Оптимизация набора фильтров на основе данных для автоматической проверки говорящих». Цифровая обработка сигналов . 104 : 102795. arXiv : 2007.10729 . Бибкод : 2020DSP...10402795S . дои : 10.1016/j.dsp.2020.102795 . S2CID   220665533 .
  11. ^ Ричард О. Дуда , Питер Э. Харт , Дэвид Г. Сторк (2001). Классификация узоров (2-е изд.). Уайли, Нью-Йорк. ISBN  978-0-471-05669-0 . Архивировано из оригинала 19 августа 2020 г. Проверено 26 ноября 2019 г. {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  12. ^ Р. Брунелли, Методы сопоставления шаблонов в компьютерном зрении: теория и практика , Wiley, ISBN   978-0-470-51706-2 , 2009 г.
  13. ^ Учебное пособие по автоматическому распознаванию номерных знаков. Архивировано 20 августа 2006 г. на Wayback Machine http://anpr-tutorial.com/.
  14. ^ Нейронные сети для распознавания лиц. Архивировано 4 марта 2016 г. в Wayback Machine Companion к главе 4 учебника «Машинное обучение».
  15. ^ Поддар, Арнаб; Сахидулла, Мэриленд; Саха, Гутам (март 2018 г.). «Верификация говорящего с помощью коротких высказываний: обзор проблем, тенденций и возможностей» . ИЭПП Биометрия . 7 (2): 91–101. дои : 10.1049/iet-bmt.2017.0065 . Архивировано из оригинала 03 сентября 2019 г. Проверено 27 августа 2019 г.
  16. ^ PAPNET для скрининга шейки матки. Архивировано 8 июля 2012 г. на archive.today.
  17. ^ «Разработка стратегии автономного управления транспортными средствами с использованием одной камеры и глубоких нейронных сетей (технический документ 2018-01-0035) - SAE Mobilus» . saemobilus.sae.org . 3 апреля 2018 г. doi : 10.4271/2018-01-0035 . Архивировано из оригинала 06 сентября 2019 г. Проверено 6 сентября 2019 г.
  18. ^ Гердес, Дж. Кристиан; Кегельман, Джон К.; Капания, Нитин Р.; Браун, Мэтью; Спилберг, Натан А. (27 марта 2019 г.). «Нейросетевые модели транспортных средств для высокопроизводительного автоматизированного вождения» . Научная робототехника . 4 (28): eaaw1975. doi : 10.1126/scirobotics.aaw1975 . ISSN   2470-9476 . ПМИД   33137751 . S2CID   89616974 .
  19. ^ Пикеринг, Крис (15 августа 2017 г.). «Как ИИ прокладывает путь к полностью автономным автомобилям» . Инженер . Архивировано из оригинала 06 сентября 2019 г. Проверено 6 сентября 2019 г.
  20. ^ Рэй, Байшахи; Яна, Суман; Пей, Кексинь; Тиан, Ючи (28 августа 2017 г.). «DeepTest: автоматизированное тестирование автономных автомобилей, управляемых глубокими нейронными сетями». arXiv : 1708.08559 . Бибкод : 2017arXiv170808559T . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  21. ^ Синха, ПК; Хаджийский, Л.М.; Мутиб, К. (1 апреля 1993 г.). «Нейронные сети в автономном управлении транспортными средствами». Тома трудов МФБ . 1-й международный семинар МФБ по интеллектуальным автономным транспортным средствам, Хэмпшир, Великобритания, 18–21 апреля. 26 (1): 335–340. дои : 10.1016/S1474-6670(17)49322-0 . ISSN   1474-6670 .
  22. ^ «Пересмотр внимания по психологии уровня A - Распознавание образов | S-cool, веб-сайт пересмотра» . S-cool.co.uk. Архивировано из оригинала 22 июня 2013 г. Проверено 17 сентября 2012 г.
  23. ^ Предполагая, что известна форма распределения признаков по классам, например форма Гаусса .
  24. ^ Нет никаких предположений относительно формы распределения признаков по классам.

Дальнейшее чтение

[ редактировать ]
[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 8b80515cb47c282c02ce5837b73c44fb__1722389760
URL1:https://arc.ask3.ru/arc/aa/8b/fb/8b80515cb47c282c02ce5837b73c44fb.html
Заголовок, (Title) документа по адресу, URL1:
Pattern recognition - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)