Jump to content

Экспериментальный бенчмаркинг

Экспериментальный бенчмаркинг позволяет исследователям узнать о точности неэкспериментальных исследований. В частности, можно сравнить результаты наблюдений с экспериментальными данными, чтобы откалибровать систематическую ошибку. В обычных условиях проведение эксперимента дает исследователям объективную оценку интересующего их параметра. Эту оценку затем можно сравнить с результатами наблюдательных исследований. Обратите внимание, что бенчмаркинг – это попытка откалибровать нестатистическую неопределенность (ошибки в основных предположениях). В сочетании с метаанализом этот метод можно использовать для понимания масштабов систематических ошибок, связанных с конкретной областью исследований.

Начало экспериментального бенчмаркинга в социальных науках часто приписывают Роберту ЛаЛонду . В 1986 году он обнаружил, что результаты эконометрических процедур, оценивающих влияние программы занятости на заработки стажеров, не соответствуют экспериментальным данным. [ 1 ]

В медицинских исследованиях часто проводится экспериментальный бенчмаркинг, например, Schnell-Inderst et al. (2017) [ 2 ] и Берден и др. (2017). [ 3 ]

Процедурные соображения

[ редактировать ]

Наиболее поучительные экспериментальные проекты бенчмаркинга выполняются в больших масштабах. Они также сравнивают экспериментальные и неэкспериментальные работы, в которых рассматриваются одни и те же результаты и одна и та же группа населения. [ 4 ]

Наблюдательные проекты, которые можно оценить с помощью бенчмаркинга

[ редактировать ]

В неэкспериментальных, или обсервационных, исследованиях сравниваются леченные и нелеченные субъекты, при этом учитываются фоновые характеристики (называемые ковариатами). Этот подход к оценке также можно назвать корректировкой ковариат. Ковариаты — это атрибуты, которые существуют до экспериментов и, следовательно, не изменяются в зависимости от лечения. [ 5 ] Примеры включают возраст, пол, вес и цвет волос. Например, если исследователей интересует влияние занятий по прекращению курения на количество выкуриваемых сигарет в день, они могут провести ковариатную корректировку для контроля этнической принадлежности, дохода и количества лет, в течение которых курильщик курит.

Ковариатная корректировка может осуществляться различными способами. Гордон и др. (2018) иллюстрируют многие из этих методов с помощью данных онлайн-рекламы, таких как сопоставление показателей склонности , стратификация , корректировка регрессии и корректировка регрессии, взвешенной по обратной вероятности . Они обнаружили, что, несмотря на большие различия в переменных в их данных, методы наблюдения не могут выявить причинные последствия онлайн-рекламы. Это исследование в конечном итоге предоставляет доказательства того, что без рандомизированного контрольного исследования невозможно обнаружить симптомы предвзятости. Смещение не всегда будет в одном направлении или одинаковой величины.

Избранные примеры экспериментального сравнительного анализа

[ редактировать ]

Блум и др. (2002) рассматривает влияние обязательных программ «благосостояние-работа», чтобы задаться вопросом, какие неэкспериментальные методы наиболее близки к восстановлению экспериментально оцененного эффекта таких программ. Они также задаются вопросом, достаточно ли точны наиболее точные неэкспериментальные методы, чтобы заменить экспериментальную работу. В конечном итоге они утверждают, что ни один из методов не приближается к точности экспериментальных методов восстановления интересующего параметра. [ 6 ]

Дехиджиа и Вахба (1999) исследуют данные ЛаЛонда (1989) с дополнительными неэкспериментальными выводами. Они утверждают, что когда имеется достаточное количество перекрывающихся групп пациентов и ненаблюдаемые ковариаты не влияют на результаты, неэкспериментальные методы действительно могут точно оценить влияние лечения. [ 7 ]

Глазерман, Леви и Майерс (2003) проводят экспериментальное сравнительное исследование в контексте служб занятости, социального обеспечения и профессиональной подготовки. Они определяют, что неэкспериментальные методы могут приближаться к экспериментальным оценкам, однако эти оценки могут быть достаточно предвзятыми, чтобы повлиять на анализ и реализацию политики. [ 8 ]

Гордон и др. (2018) использует данные Facebook , чтобы выяснить, позволяют ли различия в данных, собранных рекламной индустрией, использовать методы наблюдения для выявления причинных последствий онлайн-рекламы. В частности, исследование направлено на анализ эффективности рекламы в Facebook по трем показателям: оформление заказа, регистрация и просмотр страницы. Они обнаруживают, что, несмотря на большие различия, которые возможны благодаря природе социальных сетей, невозможно точно выявить причинные последствия. [ 9 ]

[ 5 ] [ 6 ] [ 3 ] [ 7 ] [ 8 ] [ 9 ] [ 1 ] [ 2 ] [ 4 ]

  1. ^ Jump up to: а б ЛаЛонд, Роберт (1986). «Оценка эконометрических оценок программ обучения с использованием экспериментальных данных». Американский экономический обзор . 4 (76): 604–620.
  2. ^ Jump up to: а б Шнелл-Индерст, П., Иглесиас, КП, Арванди, МАРДЖАН, Чиани, ОРИАНА, Маттеуччи Готе, Р., Петерс, Дж., ... и Зиберт, У. (2017). Синтез данных РКИ и наблюдений с поправкой на систематическую ошибку: случай тотальной замены тазобедренного сустава. Экономика здравоохранения, 26, 46-69.
  3. ^ Jump up to: а б Бёрден А., Рош Н., Миглио К., Хиллер Э.В., Постма Д.С., Херингс Р.М., Овербик Дж.А., Халид Дж.М., ван Эйкельс Д.,… Прайс, Д.Б. (2017). Оценка методов точного соответствия и оценки склонности, применяемых в сравнительном исследовании эффективности ингаляционных кортикостероидов при астме. Прагматические и наблюдательные исследования, 8, 15-30. doi:10.2147/POR.S122563
  4. ^ Jump up to: а б Смит, Джеффри и Петра Тодд . 2001. «Согласование противоречивых данных об эффективности методов сопоставления?» American Economic Review, Papers and Proceedings 91(2): 112-118.
  5. ^ Jump up to: а б «10 вещей, которые нужно знать о корректировке ковариат» . Доказательства в правительстве и политике . ЕГАП . Проверено 26 ноября 2018 г.
  6. ^ Jump up to: а б Блум, Х.С., Михалопулос, К., Хилл, СиДжей, и Лей, Ю. (2002). Могут ли неэкспериментальные методы групп сравнения сопоставить результаты оценки случайного назначения обязательных программ социального обеспечения за труд? Рабочие документы MDRC по методологии исследования.
  7. ^ Jump up to: а б Дехеджиа Р. Х. и Вахба С. (1999). Причинно-следственные эффекты в неэкспериментальных исследованиях: переоценка оценки программ обучения. Журнал Американской статистической ассоциации, 94 (448), 1053–1062.
  8. ^ Jump up to: а б Глазерман С., Леви Д.М. и Майерс Д. (2003). Неэкспериментальные и экспериментальные оценки влияния на доходы. Анналы Американской академии политических и социальных наук, 589 (1), 63–93.
  9. ^ Jump up to: а б Гордон, Бретт Р., Флориан Зеттельмейер, Неха Бхаргава и Дэн Чапски. 2018. Сравнение подходов к измерению рекламы: данные крупных полевых экспериментов в Facebook. papers.ssrn.com/sol3/papers.cfm?abstract_id=3033144

Дальнейшее чтение

[ редактировать ]

Лекарство

[ редактировать ]

Рубин, Д.Б. (1973). Сопоставление для устранения систематической ошибки в наблюдательных исследованиях. Биометрия, 159–183.

Стюарт Э.А. (2010). Методы сопоставления причинно-следственных связей: обзор и прогноз. Статистическая наука: обзорный журнал Института математической статистики, 25(1), 1-21.

Социальные науки

[ редактировать ]

Смит, Джеффри и Петра Тодд . 2005. «Преодолеет ли сопоставление критику неэкспериментальных методов ЛаЛондом?» Журнал эконометрики 125(l-2):305-353

Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 149cf1203c42f0a88e8f1005e15d66c8__1649091240
URL1:https://arc.ask3.ru/arc/aa/14/c8/149cf1203c42f0a88e8f1005e15d66c8.html
Заголовок, (Title) документа по адресу, URL1:
Experimental benchmarking - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)