Максимальный информационный коэффициент

В статистике максимальный информационный коэффициент ( MIC является мерой силы линейной или нелинейной связи между двумя переменными X и Y. )

MIC принадлежит к максимальному классу статистики непараметрических исследований на основе информации (MINE). В симуляционном исследовании MIC превзошел некоторые результаты некоторых тестов с низким энергопотреблением. однако были высказаны опасения по поводу снижения статистической мощности при обнаружении некоторых ассоциаций в условиях небольшого размера выборки по сравнению с мощными методами, такими как дистанционная корреляция и корреляция Хеллера-Хеллера-Горфина (HHG). Сравнение с этими методами, в которых MIC превосходил результаты, было проведено у Саймона и Тибширани. и в Горфине, Хеллере и Хеллере. Это утверждается что MIC примерно удовлетворяет свойству, называемому справедливостью , которое иллюстрируется отдельными исследованиями моделирования. Позже было доказано, что ни один нетривиальный коэффициент не может точно удовлетворять свойству справедливости , определенному Решефом и др.: хотя этот результат был оспорен. Некоторая критика MIC рассматривается Reshef et al. в дальнейших исследованиях, опубликованных на arXiv.

Обзор

Коэффициент максимальной информации использует биннинг как средство применения взаимной информации к непрерывным случайным величинам. Биннинг уже некоторое время использовался как способ применения взаимной информации к непрерывным распределениям; Кроме того, MIC вносит свой вклад в методологию выбора количества ячеек и выбора максимума во многих возможных сетках.

Обоснование состоит в том, что ячейки для обеих переменных должны выбираться таким образом, чтобы взаимная информация между переменными была максимальной. Это достигается всякий раз, когда $\mathrm {H} \left(X_{b}\right)=\mathrm {H} \left(Y_{b}\right)=\mathrm {H} \left(X_{b},Y_{b}\right)$. Таким образом, когда взаимная информация максимальна при объединении данных, мы должны ожидать, что следующие два свойства будут выполнены, насколько это возможно благодаря собственной природе данных. Во-первых, контейнеры будут иметь примерно одинаковый размер, поскольку энтропия $\mathrm {H} (X_{b})$ и $\mathrm {H} (Y_{b})$ максимизируются за счет группирования одинакового размера. каждый интервал X будет примерно соответствовать интервалу Y. Во-вторых ,

Поскольку переменные X и Y являются действительными числами , почти всегда можно создать ровно один интервал для каждой точки данных ( x , y ), и это приведет к очень высокому значению MI. Чтобы избежать образования такого тривиального разбиения, авторы статьи предлагают брать несколько интервалов $n_{x}$ для X и $n_{y}$ чей продукт относительно мал по сравнению с размером N выборки данных . Конкретно они предлагают:

$n_{x}\times n_{y}\leq \mathrm {N} ^{0.6}$

В некоторых случаях можно добиться хорошего соответствия между $X_{b}$ и $Y_{b}$ с такими низкими цифрами, как $n_{x}=2$ и $n_{y}=2$, хотя в других случаях количество требуемых бункеров может быть больше. Максимум за $\mathrm {I} (X_{b};Y_{b})$ определяется H(X), который, в свою очередь, определяется количеством ячеек на каждой оси, поэтому значение взаимной информации будет зависеть от количества ячеек, выбранных для каждой переменной. Чтобы сравнить значения взаимной информации, полученные для разделов разных размеров, значение взаимной информации нормализуется путем деления на максимально достижимое значение для данного размера раздела. Стоит отметить, что аналогичная процедура адаптивного биннинга для оценки взаимной информации была предложена ранее. Энтропия максимизируется за счет равномерных распределений вероятностей или, в данном случае, интервалов с одинаковым количеством элементов. Кроме того, совместная энтропия минимизируется за счет взаимно однозначного соответствия между интервалами. Если подставить такие значения в формулу $I(X;Y)=H(X)+H(Y)-H(X,Y)$, мы видим, что максимальное значение, достижимое МИ для данной пары $n_{x},n_{y}$ количества ячеек составляет $\log \min \left(n_{x},n_{y}\right)$. Таким образом, это значение используется как нормализующий делитель для каждой пары значений интервалов.

Наконец, нормализованное максимальное значение взаимной информации для различных комбинаций $n_{x}$ и $n_{y}$ сводится в таблицу, и максимальное значение в таблице выбирается в качестве значения статистики.

Важно отметить, что перебор всех возможных схем группирования, удовлетворяющих $n_{x}\times n_{y}\leq \mathrm {N} ^{0.6}$ вычислительно невозможно даже для малых n. Поэтому на практике авторы применяют эвристику, которая может найти или не найти истинный максимум.