Теория оценки

«Оценка параметров» перенаправляется сюда. Не путать с точечной оценкой или интервальной оценкой .

Чтобы узнать о других значениях, см. Оценка (значения) .

Теория оценок — это раздел статистики , который занимается оценкой значений параметров на основе измеренных эмпирических данных, имеющих случайную составляющую. Параметры описывают основные физические условия таким образом, что их значение влияет на распределение измеренных данных. Оценщик пытается аппроксимировать неизвестные параметры , используя измерения. В теории оценки обычно рассматриваются два подхода:

• Вероятностный подход (описанный в этой статье) предполагает, что измеренные данные случайны с распределением вероятностей, зависящим от интересующих параметров.
• Подход на основе членства в наборе предполагает, что вектор измеренных данных принадлежит набору, который зависит от вектора параметров.

Примеры

Например, желательно оценить долю избирателей, которые проголосуют за конкретного кандидата. Эта пропорция и является искомым параметром; оценка основана на небольшой случайной выборке избирателей. В качестве альтернативы желательно оценить вероятность того, что избиратель проголосует за конкретного кандидата, на основе некоторых демографических характеристик, таких как возраст.

Или, например, в радаре цель состоит в том, чтобы определить дальность действия объектов (самолетов, лодок и т. д.) путем анализа времени двустороннего прохождения полученных эхо-сигналов переданных импульсов. Поскольку отраженные импульсы неизбежно включаются в электрический шум, их измеренные значения распределяются случайным образом, поэтому необходимо оценить время прохождения.

Другой пример: в теории электрической связи измерения, содержащие информацию об интересующих параметрах, часто связаны с зашумленным сигналом .

Основы

Для данной модели необходимо несколько статистических «ингредиентов», чтобы можно было реализовать оценщик. Первый — это статистическая выборка — набор точек данных, взятых из вектора (RV) размера N. случайного Поместите в вектор ,

$$\mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.$$

Во-вторых, есть M параметров

$${\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},$$

значения которых подлежат оценке. В-третьих, непрерывная функция плотности вероятности (pdf) или ее дискретный аналог, функция массы вероятности (pmf), основного распределения, которое сгенерировало данные, должна быть указана при условии, что значения параметров:

$$p(\mathbf {x} |{\boldsymbol {\theta }}).\,$$

Также возможно, что сами параметры имеют распределение вероятностей (например, байесовская статистика ). Затем необходимо определить байесовскую вероятность

$$\pi ({\boldsymbol {\theta }}).\,$$

После формирования модели цель состоит в том, чтобы оценить параметры, которые обычно обозначаются как ${\hat {\boldsymbol {\theta }}}$, где «шляпа» указывает на оценку.

Одним из распространенных средств оценки является оценка минимальной среднеквадратической ошибки (MMSE), которая использует ошибку между оцененными параметрами и фактическим значением параметров.

$$\mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}$$

как основа оптимальности. Затем этот член ошибки возводится в квадрат, и ожидаемое значение этого квадрата значения минимизируется для средства оценки MMSE.

Estimators

Основная статья: Оценщик

Обычно используемые оценщики (методы оценки) и связанные с ними темы включают:

• максимального правдоподобия Оценщики
• Оценщики Байеса
• Метод оценок моментов
• Крамер-Рао на границе
• Наименьших квадратов
• Минимальная среднеквадратическая ошибка (MMSE), также известная как наименьшая квадратичная ошибка Байеса (BLSE).
• Максимум апостериорный (MAP)
• Несмещенная оценка минимальной дисперсии (MVUE)
• Идентификация нелинейной системы
• Лучшая линейная несмещенная оценка (СИНИЙ)
• Несмещенные оценки — см. смещение оценки .
• Фильтр твердых частиц
• Марковская цепь Монте-Карло (MCMC)
• Фильтр Калмана и его различные производные
• Венский фильтр

Примеры

Неизвестная константа в аддитивном

Рассмотрим полученный дискретный сигнал , $x[n]$, из $N$ независимые выборки , состоящие из неизвестной константы $A$ с аддитивным белым гауссовским шумом (AWGN) $w[n]$ с нулевым средним и известной дисперсией $\sigma ^{2}$ ( т. е. , ${\mathcal {N}}(0,\sigma ^{2})$). Поскольку дисперсия известна, единственным неизвестным параметром является $A$.

Тогда модель сигнала будет

$$x[n]=A+w[n]\quad n=0,1,\dots ,N-1$$

Две возможные (из многих) оценки параметра $A$ являются:

• ${\hat {A}}_{1}=x[0]$
• ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ какое среднее значение выборки

Обе эти оценки имеют среднее значение $A$, что можно показать, взяв ожидаемое значение каждой оценки

$$\mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A$$

и

$$\mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A$$

На этом этапе эти две оценки будут работать одинаково. Однако разница между ними становится очевидной при сравнении дисперсий.

$$\mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}$$

и

$$\mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}$$

Казалось бы, выборочное среднее является лучшим средством оценки, поскольку его дисперсия ниже для каждого N > 1.

Максимальная вероятность

Основная статья: Максимальная вероятность

Продолжая пример с использованием средства оценки максимального правдоподобия , функция плотности вероятности (pdf) шума для одной выборки $w[n]$ является

$$p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)$$

и вероятность $x[n]$ становится ( $x[n]$ можно подумать о ${\mathcal {N}}(A,\sigma ^{2})$)

$$p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)$$

В силу независимости вероятность $\mathbf {x}$ становится

$$p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)$$

Берём натуральный логарифм PDF-файла

$$\ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}$$

и оценка максимального правдоподобия равна

$${\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)$$

Взяв первую производную функции логарифмического правдоподобия

$${\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]$$

и установим его на ноль

$$0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA$$

Это приводит к оценке максимального правдоподобия

$${\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$$

что является просто выборочным средним значением. Из этого примера было обнаружено, что выборочное среднее является оценкой максимального правдоподобия для $N$ образцы фиксированного неизвестного параметра, поврежденного AWGN.

Нижняя граница Крамера–Рао

Дополнительная информация: граница Крамера – Рао.

Чтобы найти нижнюю границу Крамера-Рао (CRLB) выборочной оценки среднего, сначала необходимо найти Фишера. информационное число

$${\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]$$

и копирую сверху

$${\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]$$

Взяв вторую производную

$${\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}$$

и найти отрицательное ожидаемое значение тривиально, поскольку теперь оно является детерминированной константой. $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$

Наконец, поместив информацию Фишера в

$$\mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}$$

приводит к

$$\mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}$$

Сравнение этого значения с дисперсией выборочного среднего значения (определенной ранее) показывает, что выборочное среднее равно нижней границе Крамера – Рао для всех значений $N$ и $A$. Другими словами, выборочное среднее является (обязательно уникальным) эффективным оценщиком и, следовательно, также несмещенной оценкой минимальной дисперсии (MVUE), а также оценкой максимального правдоподобия .

равномерного

Основная статья: Проблема немецких танков

Одним из простейших нетривиальных примеров оценки является оценка максимума равномерного распределения. Он используется в качестве практического упражнения в классе и для иллюстрации основных принципов теории оценки. Кроме того, в случае оценки на основе одной выборки это демонстрирует философские проблемы и возможные недопонимания в использовании оценок максимального правдоподобия и функций правдоподобия .

Учитывая дискретное равномерное распределение $1,2,\dots ,N$ с неизвестным максимумом, оценка UMVU для максимума определяется выражением

$${\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1$$

где m — максимум выборки , а k — размер выборки , выборка без замены. Эта проблема широко известна как проблема немецких танков из-за применения максимальной оценки к оценкам производства немецких танков во время Второй мировой войны .

Формулу можно понимать интуитивно как;

«Выборочный максимум плюс средний разрыв между наблюдениями в выборке»,

разрыв добавляется для компенсации отрицательного смещения максимума выборки в качестве оценки максимума совокупности.

Это имеет дисперсию

$${\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N$$

поэтому стандартное отклонение приблизительно $N/k$, средний (популяционный) размер разрыва между выборками; сравнивать ${\frac {m}{k}}$выше. Это можно рассматривать как очень простой случай оценки максимального расстояния .

Максимум выборки является оценкой максимального правдоподобия для максимума генеральной совокупности, но, как обсуждалось выше, он смещен.

Приложения

Многие области требуют использования теории оценивания. Некоторые из этих полей включают в себя:

• Интерпретация научных экспериментов
• Обработка сигнала
• Клинические испытания
• Опросы мнений
• Контроль качества
• Телекоммуникации
• Управление проектом
• Программная инженерия
• Теория управления (в частности Адаптивное управление )
• Система обнаружения сетевых вторжений
• Определение орбиты

Измеренные данные, вероятно, будут подвержены шуму или неопределенности, и именно с помощью статистической вероятности ищутся оптимальные решения для извлечения как можно большего количества информации из данных.

См. также

Основная категория: Теория оценки

• Лучшая линейная несмещенная оценка (СИНИЙ)
• Полнота (статистика)
• Теория обнаружения
• Эффективность (статистика)
• Алгоритм максимизации ожидания (алгоритм EM)
• Проблема Ферми
• Модель серого ящика
• Теория информации
• Спектральный анализ методом наименьших квадратов
• Соответствующий фильтр
• Спектральная оценка максимальной энтропии
• Параметр помех
• Параметрическое уравнение
• Принцип Парето
• Правило трех (статистика)
• Государственный оценщик
• Статистическая обработка сигналов
• Достаточность (статистика)

Ссылки

Источники

• Э. Л. Леманн и Г. Казелла. Теория точечной оценки . ISBN  0387985026 .
• Дейл Шермон (2009). Системный стоимостной инжиниринг . Издательство Гауэр. ISBN  978-0-566-08861-2 .
• Джон Райс (1995). Математическая статистика и анализ данных . Даксбери Пресс. ISBN  0-534-209343 .
• Стивен М. Кей. Основы статистической обработки сигналов: теория оценивания . ISBN  0-13-345711-7 .
• Х. Винсент Бедный (16 марта 1998 г.). Введение в обнаружение и оценку сигналов . Спрингер. ISBN  0-387-94173-8 .
• Гарри Л. Ван Трис (2001). Теория обнаружения, оценки и модуляции, Часть 1 . Уайли. ISBN  0-471-09517-6 . Архивировано из оригинала 28 апреля 2005 г.
• Дэн Саймон. Оценка оптимального состояния: подходы Калмана, H-бесконечности и нелинейные подходы . Архивировано из оригинала 30 декабря 2010 г.
• Адаптивные фильтры . Нью-Джерси: Уайли. 2008. ISBN  978-0-470-25388-5 .
• Основы адаптивной фильтрации . Нью-Джерси: Уайли. 2003. ISBN  0-471-46126-1 .
• Линейная оценка . Нью-Джерси: Прентис-Холл. 2000. ISBN  978-0-13-022464-4 .
• Неопределенная квадратичная оценка и контроль: унифицированный подход к H ² и Х ^∞ Теории . ПА: Общество промышленной и прикладной математики (SIAM). 1999. ISBN  978-0-89871-411-1 .
• В.Г. Воинов, М.С. Никулин (1993). Несмещенные оценки и их приложения. Том. 1: Одномерный случай . Академическое издательство Клювер. ISBN  0-7923-2382-3 .
• В.Г. Воинов, М.С. Никулин (1996). Несмещенные оценки и их приложения. Том. 2: Многомерный случай . Академическое издательство Клювер. ISBN  0-7923-3939-8 .

Внешние ссылки

• СМИ, связанные с теорией оценки, на Викискладе?