Алгоритм Берндта – Холла – Холла – Хаусмана

Алгоритм Берндта-Холла-Холла-Хаусмана ( BHHH ) алгоритм представляет собой оптимизации численной , аналогичный алгоритму Ньютона-Рафсона наблюдаемую отрицательную матрицу Гессиана внешним произведением градиента , но он заменяет . Это приближение основано на равенстве информационных матриц и поэтому справедливо только при максимизации функции правдоподобия . ^[1] Алгоритм BHHH назван в честь четырех создателей: Эрнста Р. Берндта , Бронвин Холла , Роберта Холла и Джерри Хаусмана . ^[2]

Использование

Если нелинейная применяется к данным модель , часто необходимо оценить коэффициенты посредством оптимизации . Ряд алгоритмов оптимизации имеют следующую общую структуру. Предположим, что оптимизируемая функция — Q ( β ). Тогда алгоритмы являются итеративными, определяя последовательность аппроксимаций β _k , заданную формулой

\beta _{k+1}=\beta _{k}-\lambda _{k}A_{k}{\frac {\partial Q}{\partial \beta }}(\beta _{k}),

,

где $\beta _{k}$ — оценка параметра на шаге k, а $\lambda _{k}$ — это параметр (называемый размером шага), который частично определяет конкретный алгоритм. Для алгоритма BHHH λ _k определяется путем вычислений в рамках данного итерационного шага, включающего поиск строки до тех пор, пока не точка β _{k +1} будет найдена , удовлетворяющая определенным критериям. Кроме того, для алгоритма BHHH Q имеет вид

Q=\sum _{i=1}^{N}Q_{i}

и A рассчитывается с использованием

A_{k}=\left[\sum _{i=1}^{N}{\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k}){\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k})'\right]^{-1}.

В других случаях, например Ньютона-Рафсона , $A_{k}$ может иметь и другие формы. Преимущество алгоритма BHHH состоит в том, что при выполнении определенных условий гарантируется сходимость итерационной процедуры. ^{[ нужна ссылка ]}

См. также

Ссылки

^ Хеннингсен, А.; Тумет, О. (2011). «maxLik: пакет для оценки максимального правдоподобия в R». Вычислительная статистика . 26 (3): 443–458 [с. 450]. дои : 10.1007/s00180-010-0217-1 .
^ Берндт, Э.; Холл, Б.; Холл, Р.; Хаусман, Дж. (1974). «Оценка и вывод в нелинейных структурных моделях» (PDF) . Анналы экономических и социальных измерений . 3 (4): 653–665.

Дальнейшее чтение

В. Мартин, С. Херн и Д. Харрис, Эконометрическое моделирование с использованием временных рядов , Глава 3 «Методы численной оценки». Издательство Кембриджского университета, 2015.
Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. стр. 137–138 . ISBN 0-674-00560-0 .
Гилл, П.; Мюррей, В.; Райт, М. (1981). Практическая оптимизация . Лондон: Харкорт Брейс.
Гурьеро, Кристиан; Монфор, Ален (1995). «Градиентные методы и оценка машинного обучения» . Статистика и эконометрические модели . Нью-Йорк: Издательство Кембриджского университета. стр. 452–458. ISBN 0-521-40551-3 .
Харви, AC (1990). Эконометрический анализ временных рядов (второе изд.). Кембридж: MIT Press. стр. 137–138. ISBN 0-262-08189-Х .

[1] Хеннингсен, А.; Тумет, О. (2011). «maxLik: пакет для оценки максимального правдоподобия в R». Вычислительная статистика . 26 (3): 443–458 [с. 450]. дои : 10.1007/s00180-010-0217-1 .

[2] Берндт, Э.; Холл, Б.; Холл, Р.; Хаусман, Дж. (1974). «Оценка и вывод в нелинейных структурных моделях» (PDF) . Анналы экономических и социальных измерений . 3 (4): 653–665.

[1]

[2]