Цепочки классификаторов

Цепочки классификаторов — это метод машинного обучения для преобразования задач в классификации по нескольким меткам . Он сочетает в себе вычислительную эффективность метода двоичной релевантности, сохраняя при этом возможность учитывать зависимости меток для классификации . ^[1]

Трансформация проблемы

Существует несколько методов трансформации проблемы. Одним из них является метод бинарной релевантности (BR). Учитывая набор меток ${\mathit {L}}\,$ и набор данных с экземплярами формы ${\mathit {(x,Y)}}\,$ где ${\mathit {x}}\,$ является вектором признаков и $Y\subseteq L$ представляет собой набор меток, присвоенных экземпляру. BR преобразует набор данных в $\left\vert L\right\vert$ наборы данных и обучение $\left\vert L\right\vert$ бинарные классификаторы $H:X\rightarrow \{l,\neg l\}$ за каждую этикетку $l\in L$ . При этом информация о зависимостях между метками не сохраняется. Это может привести к ситуации, когда экземпляру назначается набор меток, хотя эти метки никогда не встречаются вместе в наборе данных. Таким образом, информация о совместном появлении меток может помочь назначить правильные комбинации меток. Потеря этой информации может в некоторых случаях привести к снижению эффективности классификации. ^[2]

Другой подход, учитывающий корреляцию меток, — это метод Label Powerset (LP). Каждая комбинация меток в наборе данных считается одной меткой. После преобразования однокомпонентного классификатора $H:X\rightarrow {\mathcal {P}}(L)$ обучается там, где ${\mathcal {P}}(L)$ это набор мощности всех меток в ${\mathit {L}}$ . Основным недостатком этого подхода является то, что количество комбинаций меток растет экспоненциально с увеличением количества меток. Например, набор данных с несколькими метками из 10 меток может иметь до $2^{10}=1024$ комбинации этикеток. Это увеличивает время выполнения классификации.

Метод цепочек классификаторов основан на методе BR и эффективен даже для большого количества меток. Кроме того, он учитывает зависимости между метками.

Описание метода

Для заданного набора меток ${\mathit {L}}\,$ модель цепочки классификаторов (CC) обучается $\left\vert L\right\vert$ классификаторы, как в методе двоичной релевантности. Все классификаторы связаны в цепочку через пространство признаков.

Учитывая набор данных, в котором $i$ -й экземпляр имеет форму ${\mathit {(x_{i},Y_{i})}}\,$ где ${\mathit {Y_{i}}}\,$ это подмножество ярлыков, ${\mathit {x_{i}}}\,$ это набор функций. Набор данных преобразуется в $\left\vert L\right\vert$ наборы данных, в которых экземпляры $j$ -й набор данных имеет вид $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ . Если $j$ -th метка была присвоена экземпляру тогда ${\mathit {l_{j}}}\,$ является $1$ , иначе это $0$ . Таким образом, классификаторы выстраивают цепочку, в которой каждый из них обучается бинарной классификации одной метки. Функции, предоставленные каждому классификатору, расширяются двоичными значениями, которые указывают, какая из предыдущих меток была присвоена экземпляру.

При классификации новых экземпляров метки снова прогнозируются путем построения цепочки классификаторов. Классификация начинается с первого классификатора. ${\mathit {C_{1}}}\,$ и переходит к последнему ${\mathit {C_{|L|}}}\,$ путем передачи информации о метках между классификаторами через пространство признаков. Следовательно, зависимость между метками сохраняется. Однако результат может различаться для разных порядков цепей. Например, если метка часто встречается вместе с какой-либо другой меткой, то только экземпляры метки, расположенные позже в цепочке, будут иметь информацию о другой метке в своем векторе признаков. Для решения этой проблемы и повышения точности можно использовать ансамбль классификаторов. ^[3]

В ансамбле цепочек классификаторов (ECC) несколько классификаторов CC могут быть обучены со случайным порядком цепочек (т. е. случайным порядком меток) на случайном подмножестве набора данных. Метки нового экземпляра прогнозируются каждым классификатором отдельно. После этого для каждой метки подсчитывается общее количество предсказаний или «голосов». Метка принимается, если она была предсказана процентом классификаторов, превышающим некоторое пороговое значение.

Адаптации

Существуют также цепочки регрессоров, которые сами по себе могут напоминать модели векторной авторегрессии , если порядок цепочки обеспечивает соблюдение временного порядка.

Ссылки

^ Читай, Джесси; Бернхард Пфарингер; Джефф Холмс; Эйбе Франк (2009). «Цепочки классификаторов для классификации по нескольким меткам» (PDF) . Материалы 13-й Европейской конференции по принципам и практике обнаружения знаний в базах данных и 20-й Европейской конференции по машинному обучению . 2009 .
^ Дембчинский, Кшиштоф; Виллем Вегеман; Вэйвэй Чэн; Эйке Хюллермайер (2010). «О зависимости от меток в классификации с несколькими метками» (PDF) . Материалы семинара по обучению на основе данных с несколькими метками . 2010 : 5–12.
^ Рокач, Лиор (2010). «Ансамблевые классификаторы» (PDF) . Артиф. Интел. Преподобный . 33 (1–2). Норвелл, Массачусетс, США: ACM: 1–39. дои : 10.1007/s10462-009-9124-7 .

Внешние ссылки

Лучшие цепочки классификаторов для классификации по нескольким меткам. Презентация цепочек классификаторов Джесси Рида и Фернандо Переса Круса.

[1] Читай, Джесси; Бернхард Пфарингер; Джефф Холмс; Эйбе Франк (2009). «Цепочки классификаторов для классификации по нескольким меткам» (PDF) . Материалы 13-й Европейской конференции по принципам и практике обнаружения знаний в базах данных и 20-й Европейской конференции по машинному обучению . 2009 .

[2] Дембчинский, Кшиштоф; Виллем Вегеман; Вэйвэй Чэн; Эйке Хюллермайер (2010). «О зависимости от меток в классификации с несколькими метками» (PDF) . Материалы семинара по обучению на основе данных с несколькими метками . 2010 : 5–12.

[3] Рокач, Лиор (2010). «Ансамблевые классификаторы» (PDF) . Артиф. Интел. Преподобный . 33 (1–2). Норвелл, Массачусетс, США: ACM: 1–39. дои : 10.1007/s10462-009-9124-7 .

[1]

[2]

[3]