Статистический бенчмаркинг

В статистике используемых бенчмаркинг — это метод использования вспомогательной информации для корректировки весов выборки, в процессе оценки , с целью получения более точных оценок итоговых показателей.

Предположим, у нас есть популяция , в которой каждая единица $k$ имеет «ценность» $Y(k)$ связанный с этим. Например, $Y(k)$ может быть зарплата работника $k$ или стоимость товара $k$ . Предположим, мы хотим оценить сумму $Y$ из всех $Y(k)$ . , мы берем образец Итак $k$ , получите вес выборки W ( k ) для всех выбранных $k$ , а затем суммируем $W(k)\cdot Y(k)$ для всех выборок $k$ .

Одно свойство, обычно общее для гирь $W(k)$ описанное здесь, заключается в том, что если мы суммируем их по всем выборкам $k$ , то эта сумма является оценкой общего количества единиц $k$ в популяции (например, общая занятость или общее количество единиц). Поскольку у нас есть выборка, эта оценка общего количества единиц в совокупности будет отличаться от истинной общей численности населения. Аналогично, оценка общего количества $Y$ (где мы суммируем $W(k)\cdot Y(k)$ для всех выборок $k$ ) также будет отличаться от истинной численности населения.

Мы не знаем, какова истинная численность населения $Y$ значение (если бы мы это сделали, выборка не имела бы смысла!). Однако часто мы знаем, какова сумма $W(k)$ охватывают все единицы генеральной совокупности. Например, мы можем не знать общий доход населения или общие затраты населения, но часто мы знаем общую занятость или общий объем продаж. И даже если мы не знаем их точно, часто существуют исследования, проведенные другими организациями или в более раннее время, с очень точными оценками этих вспомогательных величин. населения Одной из важных функций переписи является предоставление данных, которые можно использовать для сравнительного анализа небольших обследований.

Процедура сравнительного анализа начинается с разбиения популяции на контрольные ячейки. Ячейки образуются путем группировки единиц, имеющих общие характеристики, например схожие. $Y(k)$ , однако можно использовать все, что повышает точность окончательных оценок. Для каждой ячейки $C$ , мы позволяем $W(C)$ быть суммой всех $W(k)$ , где сумма берется по всем выборкам $k$ в камере $C$ . Для каждой ячейки $C$ , мы позволяем $T(C)$ быть вспомогательным значением для ячейки $C$ , который обычно называют «целевым показателем» для ячейки $C$ . Далее мы вычисляем эталонный коэффициент $F(C)=T(C)/W(C)$ . Затем мы корректируем все веса $W(k)$ умножив его на эталонный коэффициент $F(C)$ , для своей ячейки $C$ . Конечным результатом является то, что предполагаемый $W$ [образуется путем суммирования $F(C)\cdot W(k)$ ] теперь будет равняться контрольному целевому итогу $T$ . Но более важным преимуществом является то, что оценка общей суммы $Y$ [образуется путем суммирования $F(C)\cdot F(k)\cdot Y(k)$ ] будет более точным.

Связь со стратифицированной выборкой

Бенчмаркинг иногда называют «пост-стратификацией» из-за его сходства со стратифицированной выборкой . Разница между ними заключается в том, что при стратифицированной выборке мы заранее решаем, сколько единиц будет отобрано из каждой страты (эквивалентно контрольным ячейкам); при сравнительном анализе мы выбираем единицы из более широкой совокупности, и число, выбранное из каждой ячейки, является делом случая.

Преимущество стратифицированной выборки заключается в том, что количество выборок в каждой страте можно контролировать для достижения желаемой точности. Без этого контроля мы можем получить слишком большую выборку в одной страте и недостаточную в другой – действительно, возможно, что выборка не будет содержать членов из определенной ячейки, и в этом случае сравнительный анализ не удастся, потому что $W(C)=0$ , что приводит к проблеме деления на ноль. В таких случаях необходимо «схлопнуть» ячейки вместе, чтобы каждая оставшаяся ячейка имела адекватный размер выборки.

По этой причине бенчмаркинг обычно используется в ситуациях, когда стратифицированная выборка нецелесообразна. Например, выбирая людей из телефонного справочника, мы не можем сказать, какого они возраста, поэтому мы не можем легко стратифицировать выборку по возрасту. Однако мы можем собирать эту информацию от выбранных людей, что позволяет нам сравнивать ее с демографической информацией.

Дальнейшее чтение

Жиловский, Кэти (1 января 2011 г.). «Пение в гармонии: статистический анализ академических библиотек» . Управление библиотекой . 32 (1/2): 48–61. дои : 10.1108/01435121111102575 . HDL : 10397/1739 . ISSN 0143-5124 .
Драммонд, Крис; Япкович, Натали (март 2010 г.). «Предупреждение: статистический бенчмаркинг вызывает привыкание. Откажитесь от привычки в машинном обучении» . Журнал экспериментального и теоретического искусственного интеллекта . 22 (1): 67–80. дои : 10.1080/09528130903010295 . ISSN 0952-813X . S2CID 779617 .
Тидау, Дж.; Энгелькемайер, М.; Брехт, Б.; Сперлинг, Дж.; Силберхорн, К. (12 января 2021 г.). «Статистический бенчмаркинг масштабируемых фотонных квантовых систем» . Письма о физических отзывах . 126 (2): 023601. arXiv : 2008.11542 . Бибкод : 2021PhRvL.126b3601T . doi : 10.1103/PhysRevLett.126.023601 . ПМИД 33512183 . S2CID 231592951 .
Райзентель, Патрик; Лесьетр, Даниэль (12 апреля 2010 г.). Статистический бенчмаркинг суррогатных и других методов оптимизации, ограниченных фиксированным вычислительным бюджетом . Американский институт аэронавтики и астронавтики. дои : 10.2514/6.2010-3088 . ISBN 978-1-60086-961-7 .