Байесовский информационный критерий

В статистике Байесовский информационный критерий ( BIC ) или информационный критерий Шварца (также SIC , SBC , SBIC ) является критерием выбора модели среди конечного набора моделей; обычно предпочтительнее модели с более низким BIC. Он частично основан на функции правдоподобия и тесно связан с информационным критерием Акаике (AIC).

При подборе моделей можно увеличить максимальную вероятность путем добавления параметров, но это может привести к переобучению . И BIC, и AIC пытаются решить эту проблему, вводя штрафной член за количество параметров в модели; срок штрафа больше в BIC, чем в AIC, для размеров выборки больше 7. ^[1]

BIC был разработан Гидеоном Э. Шварцем и опубликован в статье 1978 года. ^[2] где он привел байесовский аргумент в пользу его принятия.

Определение

BIC формально определяется как ^[3]^[а]

\mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}}).\

где

${\hat {L}}$ = максимальное значение функции правдоподобия модели $M$ , то есть ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ , где ${\widehat {\theta }}$ значения параметров, которые максимизируют функцию правдоподобия и $x$ – наблюдаемые данные;
$n$ = количество точек данных в $x$ , количество наблюдений или, что то же самое, размер выборки;
$k$ = количество параметров, оцениваемых моделью. Например, в множественной линейной регрессии оцениваемыми параметрами являются точка пересечения, $q$ параметры наклона и постоянная дисперсия ошибок; таким образом, $k=q+2$ .

Вывод

BIC можно получить путем интегрирования параметров модели с использованием метода Лапласа , начиная со следующих данных модели : ^[5]^[6]^: 217

p(x\mid M)=\int p(x\mid \theta ,M)\pi (\theta \mid M)\,d\theta

где $\pi (\theta \mid M)$ является предшествующим для $\theta$ по модели $M$ .

Логарифмическая вероятность, $\ln(p(x|\theta ,M))$ , затем расширяется до ряда Тейлора второго порядка о MLE , ${\widehat {\theta }}$ , предполагая, что оно дважды дифференцируемо следующим образом:

\ln(p(x\mid \theta ,M))=\ln({\widehat {L}})-{\frac {n}{2}}(\theta -{\widehat {\theta }})^{\operatorname {T} }{\mathcal {I}}(\theta )(\theta -{\widehat {\theta }})+R(x,\theta ),

где ${\mathcal {I}}(\theta )$ — средняя наблюдаемая информация за наблюдение , и $R(x,\theta )$ обозначает остаточный член. В той степени, в которой $R(x,\theta )$ является ничтожным и $\pi (\theta \mid M)$ относительно линейна вблизи ${\widehat {\theta }}$ , мы можем интегрировать $\theta$ чтобы получить следующее:

p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi }{n}}\right)}^{\frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})

Как $n$ увеличивается, мы можем игнорировать $|{\mathcal {I}}({\widehat {\theta }})|$ и $\pi ({\widehat {\theta }})$ как они есть $O(1)$ . Таким образом,

p(x\mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(-{\frac {\mathrm {BIC} }{2}}+O(1)\right),

где BIC определен, как указано выше, и ${\widehat {L}}$ либо (а) является байесовской апостериорной модой, либо (б) используется MLE и априорный режим. $\pi (\theta \mid M)$ имеет ненулевой наклон на MLE. Затем задняя часть

p(M\mid x)\propto p(x\mid M)p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)

Использование

При выборе из нескольких моделей обычно предпочтительнее модели с более низкими значениями BIC. BIC является возрастающей функцией дисперсии ошибки. $\sigma _{e}^{2}$ и возрастающая функция k . То есть необъяснимое изменение зависимой переменной и количества объясняющих переменных увеличивает значение BIC. Однако более низкий BIC не обязательно означает, что одна модель лучше другой. Поскольку BIC предполагает приближения, он представляет собой всего лишь эвристику. В частности, различия в BIC никогда не следует рассматривать как преобразованные факторы Байеса.

Важно иметь в виду, что BIC можно использовать для сравнения оцененных моделей только тогда, когда числовые значения зависимой переменной ^[б] одинаковы для всех сравниваемых моделей. Сравниваемые модели не обязательно должны быть вложенными , в отличие от случая, когда модели сравниваются с использованием F-теста или теста отношения правдоподобия . ^{[ нужна ссылка ]}

Характеристики

BIC обычно наказывает свободные параметры сильнее, чем информационный критерий Акаике , хотя это зависит от размера n и относительной величины n и k .
Оно не зависит от предыдущего.
Он может измерить эффективность параметризованной модели с точки зрения прогнозирования данных.
Он наказывает за сложность модели, где сложность относится к количеству параметров в модели.
Он примерно равен критерию минимальной длины описания , но с отрицательным знаком.
Его можно использовать для выбора количества кластеров в соответствии с внутренней сложностью, присутствующей в конкретном наборе данных.
Он тесно связан с другими критериями штрафного правдоподобия, такими как информационный критерий отклонения и информационный критерий Акаике .

Ограничения

BIC имеет два основных ограничения. ^[7]

приведенное выше приближение справедливо только для размера выборки $n$ намного больше, чем число $k$ параметров в модели.
BIC не может обрабатывать сложные коллекции моделей, как в задаче выбора переменных (или выбора признаков ) в больших измерениях. ^[7]

Гауссовский особый случай

В предположении, что ошибки или возмущения модели независимы и одинаково распределены в соответствии с нормальным распределением и граничным условием, что производная логарифмического правдоподобия по отношению к истинной дисперсии равна нулю, это становится ( с точностью до аддитивной константы , которая зависит только по n а не по модели): ^[8]

\mathrm {BIC} =n\ln({\widehat {\sigma _{e}^{2}}})+k\ln(n)\

где ${\widehat {\sigma _{e}^{2}}}$ – это дисперсия ошибки. Дисперсия ошибки в этом случае определяется как

{\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\widehat {x_{i}}})^{2}.

что является смещенной оценкой истинной дисперсии .

С точки зрения остаточной суммы квадратов (RSS) BIC равен

\mathrm {BIC} =n\ln(RSS/n)+k\ln(n)\

При тестировании нескольких линейных моделей с насыщенной моделью BIC можно переписать в терминах отклонение $\chi ^{2}$ как: ^[9]

\mathrm {BIC} =\chi ^{2}+k\ln(n)

где $k$ — количество параметров модели в тесте.

См. также

Примечания

^ AIC, AICc и BIC, определенные Класкенсом и Хьортом. ^[4] являются отрицательными по сравнению с теми, которые определены в этой статье и в большинстве других стандартных ссылок.
^ Зависимая переменная также называется переменной ответа или переменной результата . См. Регрессионный анализ .

Ссылки

^ См. обзорный документ: Стойка, П.; Селен, Ю. (2004), «Выбор порядка модели: обзор правил информационных критериев», журнал IEEE Signal Processing Magazine (июль): 36–47, doi : 10.1109/MSP.2004.1311138 , S2CID 17338979 .
^ Шварц, Гидеон Э. (1978), «Оценка размерности модели», Анналы статистики , 6 (2): 461–464, doi : 10.1214/aos/1176344136 , MR 0468014 .
^ Остроумие, Эрнст; Эдвин ван ден Хеувел; Ян-Виллем Ромейн (2012). « Все модели неверны…»: введение в неопределенность модели» (PDF) . Статистика Неерландики . 66 (3): 217–236. дои : 10.1111/j.1467-9574.2012.00530.x . S2CID 7793470 .
^ Класкенс, Г. ; Хьорт, Нидерланды (2008), Выбор модели и усреднение модели , издательство Кембриджского университета.
^ Рафтери, А.Е. (1995). «Выбор байесовской модели в социальных исследованиях». Социологическая методология . 25 : 111–196. дои : 10.2307/271063 . JSTOR 271063 .
^ Кониси, Саданори; Китагава, Генширо (2008). Информационные критерии и статистическое моделирование . Спрингер. ISBN 978-0-387-71886-6 .
^ Перейти обратно: ^а ^б Жиро, К. (2015). Введение в многомерную статистику . Чепмен и Холл/CRC. ISBN 9781482237948 .
^ Пристли, МБ (1981). Спектральный анализ и временные ряды . Академическая пресса . ISBN 978-0-12-564922-3 . (с. 375).
^ Касс, Роберт Э.; Рафтери, Адриан Э. (1995), «Факторы Байеса», Журнал Американской статистической ассоциации , 90 (430): 773–795, doi : 10.2307/2291091 , ISSN 0162-1459 , JSTOR 2291091 .

Дальнейшее чтение

Бхат, HS; Кумар, Н. (2010). «О выводе байесовского информационного критерия» (PDF) . Архивировано из оригинала (PDF) 28 марта 2012 года.
Финдли, Д.Ф. (1991). «Противоположные примеры бережливости и BIC». Летопись Института статистической математики . 43 (3): 505–514. дои : 10.1007/BF00053369 . S2CID 58910242 .
Касс, Р.Э.; Вассерман, Л. (1995). «Эталонный байесовский тест для вложенных гипотез и его связь с критерием Шварца». Журнал Американской статистической ассоциации . 90 (431): 928–934. дои : 10.2307/2291327 . JSTOR 2291327 .
Лиддл, Арканзас (2007). «Информационные критерии выбора астрофизической модели» . Ежемесячные уведомления Королевского астрономического общества . 377 (1): L74–L78. arXiv : astro-ph/0701113 . Бибкод : 2007MNRAS.377L..74L . дои : 10.1111/j.1745-3933.2007.00306.x . S2CID 2884450 .
МакКуорри, АДР; Цай, К.-Л. (1998). Выбор модели регрессии и временных рядов . Всемирная научная .

Внешние ссылки

Разреженное векторное авторегрессионное моделирование

[5] AIC, AICc и BIC, определенные Класкенсом и Хьортом. ^[4] являются отрицательными по сравнению с теми, которые определены в этой статье и в большинстве других стандартных ссылок.

[8] Зависимая переменная также называется переменной ответа или переменной результата . См. Регрессионный анализ .

[1] См. обзорный документ: Стойка, П.; Селен, Ю. (2004), «Выбор порядка модели: обзор правил информационных критериев», журнал IEEE Signal Processing Magazine (июль): 36–47, doi : 10.1109/MSP.2004.1311138 , S2CID 17338979 .

[2] Шварц, Гидеон Э. (1978), «Оценка размерности модели», Анналы статистики , 6 (2): 461–464, doi : 10.1214/aos/1176344136 , MR 0468014 .

[3] Остроумие, Эрнст; Эдвин ван ден Хеувел; Ян-Виллем Ромейн (2012). « Все модели неверны…»: введение в неопределенность модели» (PDF) . Статистика Неерландики . 66 (3): 217–236. дои : 10.1111/j.1467-9574.2012.00530.x . S2CID 7793470 .

[4] Класкенс, Г. ; Хьорт, Нидерланды (2008), Выбор модели и усреднение модели , издательство Кембриджского университета.

[6] Рафтери, А.Е. (1995). «Выбор байесовской модели в социальных исследованиях». Социологическая методология . 25 : 111–196. дои : 10.2307/271063 . JSTOR 271063 .

[7] Кониси, Саданори; Китагава, Генширо (2008). Информационные критерии и статистическое моделирование . Спрингер. ISBN 978-0-387-71886-6 .

[Giraud-9] Перейти обратно: ^а ^б Жиро, К. (2015). Введение в многомерную статистику . Чепмен и Холл/CRC. ISBN 9781482237948 .

[Priestley-10] Пристли, МБ (1981). Спектральный анализ и временные ряды . Академическая пресса . ISBN 978-0-12-564922-3 . (с. 375).

[Raftery1995-11] Касс, Роберт Э.; Рафтери, Адриан Э. (1995), «Факторы Байеса», Журнал Американской статистической ассоциации , 90 (430): 773–795, doi : 10.2307/2291091 , ISSN 0162-1459 , JSTOR 2291091 .

[1]

[2]

[3]

[а]

[5]

[6]

[б]

[7]

[8]

[9]

[4]