Экспериментальный бенчмаркинг

Экспериментальный бенчмаркинг позволяет исследователям узнать о точности неэкспериментальных исследований. В частности, можно сравнить результаты наблюдений с экспериментальными данными, чтобы откалибровать систематическую ошибку. В обычных условиях проведение эксперимента дает исследователям объективную оценку интересующего их параметра. Эту оценку затем можно сравнить с результатами наблюдательных исследований. Обратите внимание, что бенчмаркинг – это попытка откалибровать нестатистическую неопределенность (ошибки в основных предположениях). В сочетании с метаанализом этот метод можно использовать для понимания масштабов систематических ошибок, связанных с конкретной областью исследований.

История

Начало экспериментального бенчмаркинга в социальных науках часто приписывают Роберту ЛаЛонду . В 1986 году он обнаружил, что результаты эконометрических процедур, оценивающих влияние программы занятости на заработки стажеров, не соответствуют экспериментальным данным. ^{[ 1 ]}

В медицинских исследованиях часто проводится экспериментальный бенчмаркинг, например, Schnell-Inderst et al. (2017) ^{[ 2 ]} и Берден и др. (2017). ^{[ 3 ]}

Процедурные соображения

Наиболее поучительные экспериментальные проекты бенчмаркинга выполняются в больших масштабах. Они также сравнивают экспериментальные и неэкспериментальные работы, в которых рассматриваются одни и те же результаты и одна и та же группа населения. ^{[ 4 ]}

Наблюдательные проекты, которые можно оценить с помощью бенчмаркинга

В неэкспериментальных, или обсервационных, исследованиях сравниваются леченные и нелеченные субъекты, при этом учитываются фоновые характеристики (называемые ковариатами). Этот подход к оценке также можно назвать корректировкой ковариат. Ковариаты — это атрибуты, которые существуют до экспериментов и, следовательно, не изменяются в зависимости от лечения. ^{[ 5 ]} Примеры включают возраст, пол, вес и цвет волос. Например, если исследователей интересует влияние занятий по прекращению курения на количество выкуриваемых сигарет в день, они могут провести ковариатную корректировку для контроля этнической принадлежности, дохода и количества лет, в течение которых курильщик курит.

Ковариатная корректировка может осуществляться различными способами. Гордон и др. (2018) иллюстрируют многие из этих методов с помощью данных онлайн-рекламы, таких как сопоставление показателей склонности , стратификация , корректировка регрессии и корректировка регрессии, взвешенной по обратной вероятности . Они обнаружили, что, несмотря на большие различия в переменных в их данных, методы наблюдения не могут выявить причинные последствия онлайн-рекламы. Это исследование в конечном итоге предоставляет доказательства того, что без рандомизированного контрольного исследования невозможно обнаружить симптомы предвзятости. Смещение не всегда будет в одном направлении или одинаковой величины.

Избранные примеры экспериментального сравнительного анализа

Блум и др. (2002) рассматривает влияние обязательных программ «благосостояние-работа», чтобы задаться вопросом, какие неэкспериментальные методы наиболее близки к восстановлению экспериментально оцененного эффекта таких программ. Они также задаются вопросом, достаточно ли точны наиболее точные неэкспериментальные методы, чтобы заменить экспериментальную работу. В конечном итоге они утверждают, что ни один из методов не приближается к точности экспериментальных методов восстановления интересующего параметра. ^{[ 6 ]}

Дехиджиа и Вахба (1999) исследуют данные ЛаЛонда (1989) с дополнительными неэкспериментальными выводами. Они утверждают, что когда имеется достаточное количество перекрывающихся групп пациентов и ненаблюдаемые ковариаты не влияют на результаты, неэкспериментальные методы действительно могут точно оценить влияние лечения. ^{[ 7 ]}

Глазерман, Леви и Майерс (2003) проводят экспериментальное сравнительное исследование в контексте служб занятости, социального обеспечения и профессиональной подготовки. Они определяют, что неэкспериментальные методы могут приближаться к экспериментальным оценкам, однако эти оценки могут быть достаточно предвзятыми, чтобы повлиять на анализ и реализацию политики. ^{[ 8 ]}

Гордон и др. (2018) использует данные Facebook , чтобы выяснить, позволяют ли различия в данных, собранных рекламной индустрией, использовать методы наблюдения для выявления причинных последствий онлайн-рекламы. В частности, исследование направлено на анализ эффективности рекламы в Facebook по трем показателям: оформление заказа, регистрация и просмотр страницы. Они обнаруживают, что, несмотря на большие различия, которые возможны благодаря природе социальных сетей, невозможно точно выявить причинные последствия. ^{[ 9 ]}

Ссылки

^{[ 5 ]}^{[ 6 ]}^{[ 3 ]}^{[ 7 ]}^{[ 8 ]}^{[ 9 ]}^{[ 1 ]}^{[ 2 ]}^{[ 4 ]}

^ Jump up to: ^а ^б ЛаЛонд, Роберт (1986). «Оценка эконометрических оценок программ обучения с использованием экспериментальных данных». Американский экономический обзор . 4 (76): 604–620.
^ Jump up to: ^а ^б Шнелл-Индерст, П., Иглесиас, КП, Арванди, МАРДЖАН, Чиани, ОРИАНА, Маттеуччи Готе, Р., Петерс, Дж., ... и Зиберт, У. (2017). Синтез данных РКИ и наблюдений с поправкой на систематическую ошибку: случай тотальной замены тазобедренного сустава. Экономика здравоохранения, 26, 46-69.
^ Jump up to: ^а ^б Бёрден А., Рош Н., Миглио К., Хиллер Э.В., Постма Д.С., Херингс Р.М., Овербик Дж.А., Халид Дж.М., ван Эйкельс Д.,… Прайс, Д.Б. (2017). Оценка методов точного соответствия и оценки склонности, применяемых в сравнительном исследовании эффективности ингаляционных кортикостероидов при астме. Прагматические и наблюдательные исследования, 8, 15-30. doi:10.2147/POR.S122563
^ Jump up to: ^а ^б Смит, Джеффри и Петра Тодд . 2001. «Согласование противоречивых данных об эффективности методов сопоставления?» American Economic Review, Papers and Proceedings 91(2): 112-118.
^ Jump up to: ^а ^б «10 вещей, которые нужно знать о корректировке ковариат» . Доказательства в правительстве и политике . ЕГАП . Проверено 26 ноября 2018 г.
^ Jump up to: ^а ^б Блум, Х.С., Михалопулос, К., Хилл, СиДжей, и Лей, Ю. (2002). Могут ли неэкспериментальные методы групп сравнения сопоставить результаты оценки случайного назначения обязательных программ социального обеспечения за труд? Рабочие документы MDRC по методологии исследования.
^ Jump up to: ^а ^б Дехеджиа Р. Х. и Вахба С. (1999). Причинно-следственные эффекты в неэкспериментальных исследованиях: переоценка оценки программ обучения. Журнал Американской статистической ассоциации, 94 (448), 1053–1062.
^ Jump up to: ^а ^б Глазерман С., Леви Д.М. и Майерс Д. (2003). Неэкспериментальные и экспериментальные оценки влияния на доходы. Анналы Американской академии политических и социальных наук, 589 (1), 63–93.
^ Jump up to: ^а ^б Гордон, Бретт Р., Флориан Зеттельмейер, Неха Бхаргава и Дэн Чапски. 2018. Сравнение подходов к измерению рекламы: данные крупных полевых экспериментов в Facebook. papers.ssrn.com/sol3/papers.cfm?abstract_id=3033144

Дальнейшее чтение

Лекарство

Рубин, Д.Б. (1973). Сопоставление для устранения систематической ошибки в наблюдательных исследованиях. Биометрия, 159–183.

Стюарт Э.А. (2010). Методы сопоставления причинно-следственных связей: обзор и прогноз. Статистическая наука: обзорный журнал Института математической статистики, 25(1), 1-21.

Социальные науки

Смит, Джеффри и Петра Тодд . 2005. «Преодолеет ли сопоставление критику неэкспериментальных методов ЛаЛондом?» Журнал эконометрики 125(l-2):305-353

[C-1] Jump up to: ^а ^б ЛаЛонд, Роберт (1986). «Оценка эконометрических оценок программ обучения с использованием экспериментальных данных». Американский экономический обзор . 4 (76): 604–620.

[ef-2] Jump up to: ^а ^б Шнелл-Индерст, П., Иглесиас, КП, Арванди, МАРДЖАН, Чиани, ОРИАНА, Маттеуччи Готе, Р., Петерс, Дж., ... и Зиберт, У. (2017). Синтез данных РКИ и наблюдений с поправкой на систематическую ошибку: случай тотальной замены тазобедренного сустава. Экономика здравоохранения, 26, 46-69.

[w-3] Jump up to: ^а ^б Бёрден А., Рош Н., Миглио К., Хиллер Э.В., Постма Д.С., Херингс Р.М., Овербик Дж.А., Халид Дж.М., ван Эйкельс Д.,… Прайс, Д.Б. (2017). Оценка методов точного соответствия и оценки склонности, применяемых в сравнительном исследовании эффективности ингаляционных кортикостероидов при астме. Прагматические и наблюдательные исследования, 8, 15-30. doi:10.2147/POR.S122563

[Grr-4] Jump up to: ^а ^б Смит, Джеффри и Петра Тодд . 2001. «Согласование противоречивых данных об эффективности методов сопоставления?» American Economic Review, Papers and Proceedings 91(2): 112-118.

[A-5] Jump up to: ^а ^б «10 вещей, которые нужно знать о корректировке ковариат» . Доказательства в правительстве и политике . ЕГАП . Проверено 26 ноября 2018 г.

[AA-6] Jump up to: ^а ^б Блум, Х.С., Михалопулос, К., Хилл, СиДжей, и Лей, Ю. (2002). Могут ли неэкспериментальные методы групп сравнения сопоставить результаты оценки случайного назначения обязательных программ социального обеспечения за труд? Рабочие документы MDRC по методологии исследования.

[X-7] Jump up to: ^а ^б Дехеджиа Р. Х. и Вахба С. (1999). Причинно-следственные эффекты в неэкспериментальных исследованиях: переоценка оценки программ обучения. Журнал Американской статистической ассоциации, 94 (448), 1053–1062.

[P-8] Jump up to: ^а ^б Глазерман С., Леви Д.М. и Майерс Д. (2003). Неэкспериментальные и экспериментальные оценки влияния на доходы. Анналы Американской академии политических и социальных наук, 589 (1), 63–93.

[B-9] Jump up to: ^а ^б Гордон, Бретт Р., Флориан Зеттельмейер, Неха Бхаргава и Дэн Чапски. 2018. Сравнение подходов к измерению рекламы: данные крупных полевых экспериментов в Facebook. papers.ssrn.com/sol3/papers.cfm?abstract_id=3033144

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]