Jump to content

Оценка, основанная на теории

Оценка, основанная на теории (также оценка, основанная на теории ) — это общий термин для любого подхода к оценке программ , который разрабатывает теорию изменений и использует ее для разработки, реализации, анализа и интерпретации результатов оценки. [ 1 ] [ 2 ] [ 3 ] Точнее, оценка является теоретической, если она: [ 4 ]

  1. формулирует теорию изменений , используя комбинацию социальных наук , жизненного опыта бенефициаров и опыта специалистов, связанных с программой;
  2. разрабатывает и расставляет приоритеты оценочных вопросов, используя теорию;
  3. использует теорию для разработки и проведения оценки;
  4. использует теорию для операционализации контекстуальных, процессных и конечных переменных; и
  5. обеспечивает причинно-следственное объяснение того, как и почему были достигнуты результаты, включая то, сработала ли программа и/или имела ли она какие-либо непредвиденные последствия (желательные или вредные), и что смягчает результаты.

Исследуя механизмы, с помощью которых достигаются результаты, теоретические подходы облегчают обучение совершенствованию программ и способов их реализации, а также помогают накапливать знания в рамках явно разных программ. [ 5 ] [ 6 ] В этом отличие от оценок «черного ящика», основанных на методах, которые фокусируются на выполнении этапов метода (например, рандомизированный эксперимент или фокус-группа ) и оценивают только то, приводит ли программа к намеченным результатам. [ 7 ] Подходы, основанные на теории, также могут повысить достоверность оценок, например, приводя к более точным оценкам воздействия в рандомизированных контролируемых исследованиях . [ 8 ]

Оценка, основанная на теории, возникла в 1970-х и 80-х годах в ответ на ограничения основанных на методах оценок «черного ящика». Термин «оценка, основанная на теории» был придуман Хьюи Т. Ченом и Питером Х. Росси . [ 9 ] Чен (1990) [ 10 ] написал первое подробное введение в проведение теоретических оценок, например, объяснив, как разработать программную теорию изменений и различные типы проектирования. Его истоки прослежены [ 11 ] к книге Кэрол Вайс (1972) [ 12 ] и редко цитируемая статья Кэрол Тейлор Фитц-Гиббон ​​и Линн Лайонс Моррис (1975). [ 13 ] Однако «первое опубликованное использование того, что мы называем теорией программ», было в оценке программ обучения Доном Киркпатриком в 1959 году. [ 14 ]

Funnell и Rogers (2011, стр. 23–24) комментируют запутанную номенклатуру этой области, перечисляя 22 подхода, таких как оценка, основанная на теории , и наука об оценке, основанная на теории программ, которые эквивалентны или значительно перекрываются с оценкой, основанной на теории. Первое определение оценки, основанной на теории , данное Фитц-Гиббоном и Моррисом (1975), почти идентично оценке, основанной на теории : [ 15 ]

Оценка программы, основанная на теории, — это оценка программы, при которой выбор функций программы для оценки определяется явной концептуализацией программы с точки зрения теории […], которая пытается объяснить, как программа производит желаемые эффекты. Теория может быть психологической […] или социально-психологической […] или философской […]. что теория указывает на причинную связь между процессом А и результатом Б. Существенной характеристикой является то ,

Следовательно, термины « оценка, основанная на теории» и «оценка на основе теории » часто используются в литературе как синонимы. [ 16 ] [ 17 ] [ 18 ] Однако оценку, основанную на теории, иногда интерпретируют более узко, означая качественную оценку или оценку, основанную на небольших тематических исследованиях , проводимую без группы сравнения, например, с использованием отслеживания процесса или качественного сравнительного анализа . [ 19 ] [ 20 ]

Что подразумевается под «теорией»?

[ редактировать ]

Теория оценки, основанной на теории, стремится быть как можно ближе к непосредственным причинам социальной проблемы и месту вмешательства, а не, например, является «великой» теорией , которая пытается обеспечить всеобъемлющее понимание общества или метафизическая теория о природе социальной реальности: [ 21 ]

Принятие той или иной из современных глобальных теорий для решения, скажем, проблемы подростковой преступности очень мало способствует развитию практики оценки, но это очень помогает понять структуру власти в школах и механизмы влияния групп сверстников и родительской дисциплины. в разработке и оценке программы, которая должна уменьшить дисциплинарные проблемы в школах. [...Т] теория, основанная на теории, ближе к тому, что специалисты по эконометрике называют «спецификацией модели», чем более сложные, более абстрактные и общие теории.

Также проводится различие между нормативной теорией , касающейся того, что программа должна делать и как ее следует реализовать, и причинной теорией , которая определяет, как программа, как предполагается, работает. [ 22 ] Тогда могут быть две основные причины, по которым программа не приводит к желаемым результатам: (1) программа может быть реализована так, как предполагалось в соответствии с нормативной теорией; однако причинная теория неверна; и (2) причинная теория верна; однако программа была реализована неправильно. [ 23 ]

Схема модели действий/изменения Чена

[ редактировать ]

Схема модели действий/изменения Чена [ 24 ] представляет собой пример того, как концептуализируется теория программ и ее контекст. Затем элементы схемы дорабатываются для каждой конкретной программы.

Схема модели действий/модели изменений Чена (2015)

Модель изменений определяет, как вмешательство программы приводит к результатам через детерминанты , также известные как промежуточные или опосредующие переменные.

Модель действий определяет, как персонал и организации, осуществляющие реализацию, доставляют меры бенефициарам:

  • Целевая группа включает в себя спецификацию участников и способы их набора.
  • Организация -исполнитель (например, клиника или школа) и ее сотрудники ( например, терапевты или учителя) несут ответственность за распределение ресурсов , обучение и реализацию мероприятий.
  • Протоколы вмешательства и оказания услуг будут включать руководства по терапии или учебные программы по предметам.
  • Ассоциированные организации и партнеры сообщества относятся к организациям, отличным от организации-исполнителя. В случае психотерапевтического вмешательства это могут быть школы или врачи общей практики, которые рекламируют программу или направляют к ней бенефициаров.
  • Экологический контекст относится к аспектам окружающей среды, например семье, друзьям, коллегам, другим учащимся и т. д., которые могут смягчить воздействие программы.

Теоретические методы

[ редактировать ]

Утверждается, что применим весь спектр методов исследования. Например, Чен (2015) приводит примеры использования рандомизированных экспериментов , квазиэкспериментальных планов , процессов и результатов мониторинга , а также качественных методов . [ 25 ] Хотя сторонники оценки, основанной на теории, критикуют эксперименты с «черным ящиком», Чен и Росси (1983, стр. 292) [ 26 ] утверждают, что эксперименты, основанные на теории, возможны и желательны:

[А] Сторонники экспериментальной парадигмы черного ящика часто пренебрегают тем фактом, что после рандомизации экзогенные переменные все еще коррелируют с переменными результата. Знание того, как такие экзогенные факторы влияют на результаты, позволяет построить более точные оценки экспериментальных эффектов, контролируя такие экзогенные переменные.

Утверждалось, что оценка, основанная на теории, слишком сильно фокусируется на статистических подходах, таких как рандомизированные эксперименты, квазиэксперименты и моделирование структурными уравнениями ; [ 27 ] однако также доказывается важность качественных методов, особенно при разработке теорий программ и понимании их реализации. [ 28 ]

Также ведутся методологические дебаты относительно того, могут ли реалистичные оценки , считающиеся особым видом подхода, основанного на теории, включать рандомизированные контролируемые исследования в любой форме. Некоторые специалисты по оценке считают, что они могут и проводят так называемые «реалистичные испытания». [ 29 ] [ 30 ] [ 31 ] Другие утверждают, что реалистическое судебное разбирательство - это «оксюморон», и рекомендуют вместо этого называть его «испытаниями, ориентированными на теорию». [ 32 ] Обзор предполагаемых реалистичных испытаний 2023 года пришел к выводу, что то, являются ли они действительно реалистичными, зависит от «онтологических и эпистемологических» обязательств оценщиков и что различия «не могут быть решены» путем обзора проведенных исследований. [ 33 ]

Примеры, обсуждавшиеся в систематическом обзоре 45 теоретических оценок 2011 года, включают: [ 34 ]

  • Оценка Демонстрации психического здоровья детей и подростков Форт-Брэгга, управляемой системы психиатрической помощи с единой точкой входа, которая использовала индивидуальные интервью, фокус-группы и анализ документов для помощи в разработке теории изменений. [ 35 ] Теория объясняла, почему считалось, что интегрированная система оказания медицинской помощи будет более рентабельной, чем фрагментированная система.
  • Оценка настольной игры, созданной для преподавания бизнес-образования в средней школе. [ 36 ] В ходе этой оценки была разработана теория изменений, которая использовалась для выбора показателей и разработки регрессионного анализа процесса и результатов.
  • Оценка программы сокращения мусора. [ 37 ] Программа пыталась побудить жителей сократить объемы мусора, который они производят, за счет уменьшения частоты его вывоза; однако непреднамеренным негативным последствием, выявленным в ходе оценки, было то, что жители производили тот же объем, что и раньше, просто храня мусор в своих домах в дни, когда его не вывозят. Этот эффект был выявлен с помощью сравнительного анализа прерывистых временных рядов с использованием авторегрессионного интегрированного скользящего среднего (ARIMA) .

Обзор теоретической оценки в школьной психологии за 2014 год. [ 38 ] выделил два показательных примера:

  1. ^ Чен, HT, и Росси, PH (1980). Многоцелевой, основанный на теории подход к оценке: модель, связывающая фундаментальные и прикладные социальные науки . Социальные силы, 59, 106–122.
  2. ^ Корин, CLS, Ноукс, Лос-Анджелес, Вестин, CD, и Шретер, округ Колумбия (2011, стр. 201). Систематический обзор практики теоретического оценивания с 1990 по 2009 год . Американский журнал оценки, 32 (2), 199–226.
  3. ^ Дональдсон, СИ (2022, стр. 9). Введение в теоретическую оценку программ (2-е изд.). Рутледж.
  4. ^ Корин, CLS, Ноукс, Лос-Анджелес, Вестин, CD, и Шретер, округ Колумбия (2011, стр. 203–205). Систематический обзор практики теоретического оценивания с 1990 по 2009 год . Американский журнал оценки, 32 (2), 199–226.
  5. ^ Чен, HT (2012). Оценка, основанная на теории: концептуальная основа, применение и развитие. В Р. Штробле, О. Лобермайере и В. Хейтмейере (ред.), Оценка программ и проектов демократической культуры (стр. 17–40). Специалист Springer по СМИ Висбаден. https://doi.org/10.1007/978-3-531-19009-9_2
  6. ^ Вайс, CH (1995). Нет ничего более практичного, чем хорошая теория: изучение теоретической оценки для комплексных общественных инициатив для детей и семей. В JP Connell, AC Kublsch, LB Schorr и CH Weiss (ред.), Новые подходы к оценке общественных инициатив: концепции, методы и контексты (выпуск 7, стр. 65–92). Аспенский институт.
  7. ^ Чен, HT, и Росси, PH (1980). Многоцелевой, основанный на теории подход к оценке: модель, связывающая фундаментальные и прикладные социальные науки . Социальные силы, 59, 106–122.
  8. ^ Чен, HT, и Росси, PH (1983). Осмысленная оценка: подход, основанный на теории . Обзор оценки, 7(3), 283–302.
  9. ^ Чен, HT, и Росси, PH (1980). Многоцелевой, основанный на теории подход к оценке: модель, связывающая фундаментальные и прикладные социальные науки . Социальные силы, 59, 106–122.
  10. ^ Чен, HT (1990). Оценки, основанные на теории. Таузенд-Оукс, Калифорния: Сейдж.
  11. ^ Уортен, БР (1996). Примечание редактора: Истоки теоретической оценки . Практика оценки, 17(2), 169–171.
  12. ^ Вайс, CH (1972). Оценочные исследования: Методы оценки эффективности программ. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
  13. ^ Фитц-Гиббон, Коннектикут, и Моррис, LL (1975). Оценка, основанная на теории . Комментарий к оценке, 5(1), 1–4. Перепечатано в Fitz-Gibbon, CT, & Morris, LL (1996). Оценка, основанная на теории . Практика оценки, 17(2), 177–184.
  14. ^ См. стр. 16, Фаннелл, СК, Роджерс, П.Дж. (2011). Теория целенаправленных программ: эффективное использование теорий изменений и логических моделей . Джосси-Басс.
  15. ^ Фитц-Гиббон, Коннектикут, и Моррис, LL (1975, стр. 1).
  16. ^ Биркмайер, JD, и Вайс, CH (2000). Теоретическая оценка на практике: чему мы учимся? Обзор оценки, 24(4), 407-431.
  17. ^ Матта, Коррадо; Линдвалл, Янника; Рив, Андреас (2024). «Механистические преимущества интеграции данных и теории для теоретической оценки» . Американский журнал оценки . 45 (1): 110–132. дои : 10.1177/10982140221122764 .
  18. ^ Далер-Ларсен, П. (2018, стр. 9). Теоретическая оценка встречает неоднозначность: роль переменных Януса. Американский журнал оценки, 39 (1), 6–23.
  19. ^ Стерн, Э., Стам, Н., Мейн, Дж., Форсс, К., Дэвис, Р., и Бефани, Б. (2012). Расширение диапазона схем и методов оценки воздействия . Институт исследований развития.
  20. ^ Казначейство Ее Величества (2020). Пурпурная книга .
  21. ^ Чен, HT, и Росси, PH (1983). Осмысленная оценка: подход, основанный на теории. Обзор оценки, 7(3), 283–302.
  22. ^ Чен, HT (1989). Концептуальная основа теоретической точки зрения . Оценка и планирование программ, 12(4), 391-396.
  23. ^ Вайс, CH (1972, стр. 38). Оценочные исследования: Методы оценки эффективности программ. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
  24. ^ Чен, HT (2015, глава 3). Практическая оценка программы: теоретическая оценка и комплексная перспектива оценки. SAGE Публикации Лтд.
  25. ^ Чен, HT (2015). Практическая оценка программы: теоретическая оценка и перспектива комплексной оценки (2-е издание). Публикации Сейджа.
  26. ^ Чен, HT, и Росси, PH (1983). Осмысленная оценка: подход, основанный на теории . Обзор оценки, 7(3), 283–302.
  27. ^ Смит, Нидерланды (1994). Уточнение и расширение применения оценок, основанных на теории программ . Практика оценки, 15(1), 83–87.
  28. ^ Чен, HT (1994). Оценки, основанные на теории: необходимость, трудности и варианты. Американский журнал оценки, 15 (1), 79–82. https://doi.org/10.1177/109821409401500109
  29. ^ Мартин П. и Танненбаум С. (2017)Реалистичная оценка решений пациентов об отмене назначения препарата в исследовании EMPOWER. BMJ Open 7 (4): e015959.
  30. ^ Бонелл С., Флетчер А., Мортон М. и др. (2012)Реалистичные рандомизированные контролируемые исследования: новый подход к оценке комплексных мер общественного здравоохранения. Социальные науки и медицина 75 (12): 2299–306.
  31. ^ Бонелл, К., Мелендес-Торрес, Г.Дж., и Уоррен, Э. (2024). Реалистичные испытания и систематические обзоры: строгие, полезные данные для информирования политики здравоохранения . Кембридж: Издательство Кембриджского университета.
  32. ^ Маршал Б., Вестхорп Г., Вонг Г., Ван Белль С., Гринхал Т., Кегельс Г. и Поусон Р. (2013). Реалистичные РКИ комплексных вмешательств – оксюморон. Социальные науки и медицина, 94, 124–128.
  33. ^ Нильсен, С.Б., Ясперс, С.О., и Лемир, С. (2023). Любопытный случай реалистического процесса: методологический оксюморон или единорог? Оценка.
  34. ^ Корин, CLS, Ноукс, Лос-Анджелес, Вестин, CD, и Шретер, округ Колумбия (2011). Систематический обзор практики оценки, основанной на теории, с 1990 по 2009 год. Американский журнал оценки, 32 (2), 199–226. https://doi.org/10.1177/1098214010389321
  35. ^ Бикман, Л. (1996). Применение теории программ к оценке управляемой системы психиатрической помощи . Оценка и планирование программ, 19, 111–119.
  36. ^ Хенс, Дж., Криц, В.К., и Вулф, Дж. (2009). Применение теоретически ориентированной оценки на практике: подход с использованием логической модели для оценки SIMGAME . Моделирование и игры, 40, 110–133.
  37. ^ Чен, HT, Венг, JCS, и Лин, Л.-Х. (1997). Оценка процесса и результатов программы сокращения мусора на Тайване . Обзор оценки, 21, 27–42.
  38. ^ Мерсер, С.Х., Айдлер, AM, и Бартфай, JM (2014). Теоретико-ориентированная оценка в школьных психологических исследованиях: 2007–2012 гг . Обзор школьной психологии, 43 (2), 119–131.
  39. ^ Шеридан С.М., Бовэрд Дж.А., Гловер Т.А., Эндрю Гарбач С., Витте А. и Квон К. (2012). Рандомизированное исследование, изучающее влияние совместных поведенческих консультаций и посредническую роль отношений между родителями и учителями . Обзор школьной психологии, 41 (1), 23–46.
  40. ^ Хокинс, Р.О., Хейл, А., Шили, В., и Линг, С. (2011). Повторное чтение и просмотр словарного запаса для улучшения беглости речи и понимания у учащихся старших классов, испытывающих затруднения . Психология в школах, 48 (1), 59–77.
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: da299e6782b87ac5af60ec0ef9f0aab4__1722486360
URL1:https://arc.ask3.ru/arc/aa/da/b4/da299e6782b87ac5af60ec0ef9f0aab4.html
Заголовок, (Title) документа по адресу, URL1:
Theory-driven evaluation - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)