Экспериментальный бенчмаркинг
Экспериментальный бенчмаркинг позволяет исследователям узнать о точности неэкспериментальных исследований. В частности, можно сравнить результаты наблюдений с экспериментальными данными, чтобы откалибровать систематическую ошибку. В обычных условиях проведение эксперимента дает исследователям объективную оценку интересующего их параметра. Эту оценку затем можно сравнить с результатами наблюдательных исследований. Обратите внимание, что бенчмаркинг – это попытка откалибровать нестатистическую неопределенность (ошибки в основных предположениях). В сочетании с метаанализом этот метод можно использовать для понимания масштабов систематических ошибок, связанных с конкретной областью исследований.
История
[ редактировать ]Начало экспериментального бенчмаркинга в социальных науках часто приписывают Роберту ЛаЛонду . В 1986 году он обнаружил, что результаты эконометрических процедур, оценивающих влияние программы занятости на заработки стажеров, не соответствуют экспериментальным данным. [ 1 ]
В медицинских исследованиях часто проводится экспериментальный бенчмаркинг, например, Schnell-Inderst et al. (2017) [ 2 ] и Берден и др. (2017). [ 3 ]
Процедурные соображения
[ редактировать ]Наиболее поучительные экспериментальные проекты бенчмаркинга выполняются в больших масштабах. Они также сравнивают экспериментальные и неэкспериментальные работы, в которых рассматриваются одни и те же результаты и одна и та же группа населения. [ 4 ]
Наблюдательные проекты, которые можно оценить с помощью бенчмаркинга
[ редактировать ]В неэкспериментальных, или обсервационных, исследованиях сравниваются леченные и нелеченные субъекты, при этом учитываются фоновые характеристики (называемые ковариатами). Этот подход к оценке также можно назвать корректировкой ковариат. Ковариаты — это атрибуты, которые существуют до экспериментов и, следовательно, не изменяются в зависимости от лечения. [ 5 ] Примеры включают возраст, пол, вес и цвет волос. Например, если исследователей интересует влияние занятий по прекращению курения на количество выкуриваемых сигарет в день, они могут провести ковариатную корректировку для контроля этнической принадлежности, дохода и количества лет, в течение которых курильщик курит.
Ковариатная корректировка может осуществляться различными способами. Гордон и др. (2018) иллюстрируют многие из этих методов с помощью данных онлайн-рекламы, таких как сопоставление показателей склонности , стратификация , корректировка регрессии и корректировка регрессии, взвешенной по обратной вероятности . Они обнаружили, что, несмотря на большие различия в переменных в их данных, методы наблюдения не могут выявить причинные последствия онлайн-рекламы. Это исследование в конечном итоге предоставляет доказательства того, что без рандомизированного контрольного исследования невозможно обнаружить симптомы предвзятости. Смещение не всегда будет в одном направлении или одинаковой величины.
Избранные примеры экспериментального сравнительного анализа
[ редактировать ]Блум и др. (2002) рассматривает влияние обязательных программ «благосостояние-работа», чтобы задаться вопросом, какие неэкспериментальные методы наиболее близки к восстановлению экспериментально оцененного эффекта таких программ. Они также задаются вопросом, достаточно ли точны наиболее точные неэкспериментальные методы, чтобы заменить экспериментальную работу. В конечном итоге они утверждают, что ни один из методов не приближается к точности экспериментальных методов восстановления интересующего параметра. [ 6 ]
Дехиджиа и Вахба (1999) исследуют данные ЛаЛонда (1989) с дополнительными неэкспериментальными выводами. Они утверждают, что когда имеется достаточное количество перекрывающихся групп пациентов и ненаблюдаемые ковариаты не влияют на результаты, неэкспериментальные методы действительно могут точно оценить влияние лечения. [ 7 ]
Глазерман, Леви и Майерс (2003) проводят экспериментальное сравнительное исследование в контексте служб занятости, социального обеспечения и профессиональной подготовки. Они определяют, что неэкспериментальные методы могут приближаться к экспериментальным оценкам, однако эти оценки могут быть достаточно предвзятыми, чтобы повлиять на анализ и реализацию политики. [ 8 ]
Гордон и др. (2018) использует данные Facebook , чтобы выяснить, позволяют ли различия в данных, собранных рекламной индустрией, использовать методы наблюдения для выявления причинных последствий онлайн-рекламы. В частности, исследование направлено на анализ эффективности рекламы в Facebook по трем показателям: оформление заказа, регистрация и просмотр страницы. Они обнаруживают, что, несмотря на большие различия, которые возможны благодаря природе социальных сетей, невозможно точно выявить причинные последствия. [ 9 ]
Ссылки
[ редактировать ][ 5 ] [ 6 ] [ 3 ] [ 7 ] [ 8 ] [ 9 ] [ 1 ] [ 2 ] [ 4 ]
- ^ Jump up to: а б ЛаЛонд, Роберт (1986). «Оценка эконометрических оценок программ обучения с использованием экспериментальных данных». Американский экономический обзор . 4 (76): 604–620.
- ^ Jump up to: а б Шнелл-Индерст, П., Иглесиас, КП, Арванди, МАРДЖАН, Чиани, ОРИАНА, Маттеуччи Готе, Р., Петерс, Дж., ... и Зиберт, У. (2017). Синтез данных РКИ и наблюдений с поправкой на систематическую ошибку: случай тотальной замены тазобедренного сустава. Экономика здравоохранения, 26, 46-69.
- ^ Jump up to: а б Бёрден А., Рош Н., Миглио К., Хиллер Э.В., Постма Д.С., Херингс Р.М., Овербик Дж.А., Халид Дж.М., ван Эйкельс Д.,… Прайс, Д.Б. (2017). Оценка методов точного соответствия и оценки склонности, применяемых в сравнительном исследовании эффективности ингаляционных кортикостероидов при астме. Прагматические и наблюдательные исследования, 8, 15-30. doi:10.2147/POR.S122563
- ^ Jump up to: а б Смит, Джеффри и Петра Тодд . 2001. «Согласование противоречивых данных об эффективности методов сопоставления?» American Economic Review, Papers and Proceedings 91(2): 112-118.
- ^ Jump up to: а б «10 вещей, которые нужно знать о корректировке ковариат» . Доказательства в правительстве и политике . ЕГАП . Проверено 26 ноября 2018 г.
- ^ Jump up to: а б Блум, Х.С., Михалопулос, К., Хилл, СиДжей, и Лей, Ю. (2002). Могут ли неэкспериментальные методы групп сравнения сопоставить результаты оценки случайного назначения обязательных программ социального обеспечения за труд? Рабочие документы MDRC по методологии исследования.
- ^ Jump up to: а б Дехеджиа Р. Х. и Вахба С. (1999). Причинно-следственные эффекты в неэкспериментальных исследованиях: переоценка оценки программ обучения. Журнал Американской статистической ассоциации, 94 (448), 1053–1062.
- ^ Jump up to: а б Глазерман С., Леви Д.М. и Майерс Д. (2003). Неэкспериментальные и экспериментальные оценки влияния на доходы. Анналы Американской академии политических и социальных наук, 589 (1), 63–93.
- ^ Jump up to: а б Гордон, Бретт Р., Флориан Зеттельмейер, Неха Бхаргава и Дэн Чапски. 2018. Сравнение подходов к измерению рекламы: данные крупных полевых экспериментов в Facebook. papers.ssrn.com/sol3/papers.cfm?abstract_id=3033144
Дальнейшее чтение
[ редактировать ]Лекарство
[ редактировать ]Рубин, Д.Б. (1973). Сопоставление для устранения систематической ошибки в наблюдательных исследованиях. Биометрия, 159–183.
Стюарт Э.А. (2010). Методы сопоставления причинно-следственных связей: обзор и прогноз. Статистическая наука: обзорный журнал Института математической статистики, 25(1), 1-21.
Социальные науки
[ редактировать ]Смит, Джеффри и Петра Тодд . 2005. «Преодолеет ли сопоставление критику неэкспериментальных методов ЛаЛондом?» Журнал эконометрики 125(l-2):305-353