Бесцелевая оценка

Бесцелевая оценка ( GFE ) — это любая оценка , при которой оценщик проводит оценку без особых знаний или ссылки на заявленные или заранее определенные цели и задачи. ^[1]^[2]^[3] Эта модель внешней оценки обычно состоит из независимого оценщика, который намеренно отсеивается от заявленных целей и задач программы в надежде уменьшить потенциальное туннельное видение , связанное с целями . ^[3]^[4] По словам Скривена, ^[3]^: 180 логика . избегания заявленных целей и задач заключается в том, чтобы «выяснить, что на самом деле делает программа, не обращая внимания на то, что она пытается сделать. Если программа достигает заявленных целей и задач, то эти достижения должны проявиться» В противном случае утверждается, что они не имеют значения». Бесцельный оценщик пытается наблюдать и измерять все фактические результаты, эффекты или воздействия, преднамеренные или непреднамеренные, не обращая внимания на намерения . программы В первом иннинге , в котором завершился локаут , важен окончательный счет игры, а не добрые намерения». ^[5]

Описание

Бесцелевая оценка не является комплексной автономной моделью оценки; скорее, это считается либо точкой зрения или позицией относительно целевой ориентации оценщика на протяжении всей оценки, либо методом или инструментом оценки без ссылки на цели. Скривен утверждает, что GFE методологически нейтрален, что означает, что его можно использовать или адаптировать для использования с несколькими другими подходами, моделями и методами оценки, если другие подходы не требуют ориентации на цели. ^[3]

Юкер и Ингрэм резюмируют преимущества GFE следующим образом: ^[1]^[4]

Контролирующая цель
Выявление побочных эффектов
Избегание риторики «истинных» целей
Адаптация к контекстуальным/окружающим изменениям
Согласование целей с фактическими программными мероприятиями и результатами
Дополнение оценки, основанной на целях (также известной как оценка, основанная на целях)

Администрация

На самом деле существует только два методологических требования GFE. Во-первых, бесцельный оценщик должен быть внешним и независимым от программы и ее основных заинтересованных сторон (спонсоров программы, разработчиков, администраторов, менеджеров, сотрудников, волонтеров, поставщиков и т. д.); ^[6] во-вторых, кто-то должен быть назначен проверяющим голы. Лицо, проводящее проверку, — это беспристрастная сторона (т. е. лицо, не назначенное для разработки GFE или сбора данных), например помощник по административным вопросам , третья сторона или даже клиент, проводящий оценку. ^[7] Проверяющий вмешивается между оценщиком и участниками программы, чтобы исключить целенаправленные коммуникации и документы до того, как они попадут к бесцельному оценщику. Специалисту по досмотру не требуется обширная подготовка; однако специалист по скринингу должен иметь базовое представление о цели и методологии GFE и быть относительно знакомым с организацией и ее программой, чтобы иметь возможность определить цели и задачи программы.

Используются два типа оценок GFE. Первый тип – это когда оценщик намеренно избегает заявленных целей и задач, принимая специальные меры предосторожности. Например, при оценке могут быть приняты специальные меры предосторожности, чтобы нанять специалистов по проверке целей, которые будут играть роль связующего звена между оценщиком и клиентом. Это помогает уменьшить предвзятость, поскольку позволяет результатам говорить сами за себя. Второй тип – отказ от цели. Оценщик, пренебрегающий целью, просто игнорирует цели и задачи вместо того, чтобы использовать специальные меры предосторожности, чтобы избежать их. ^[3]

Полный и частичный ГФЭ

ГФЭ может быть полным и частичным. Во время полной GFE оценщик не имеет цели на протяжении всего периода оценки. ^[3]

Частичный GFE начинается без цели, но в какой-то момент во время оценки оценщик узнает заявленные цели и задачи.

Принципы

В недавней попытке сформулировать общие принципы, которыми следует руководствоваться оценщику, не имеющему целей, Юкер предложил следующие принципы: ^[2]

Определите соответствующие эффекты для изучения без ссылки на цели и задачи.
Определить, что произошло, без подсказки целей и задач.
Определить, что произошло, можно логически отнести к программе или вмешательству .
Определите степень, в которой эффекты являются положительными, отрицательными или нейтральными.

ГФЭ на практике

Юкер сформулировал , что можно и чего нельзя делать в рамках GFE, которые перечислены ниже. ^[2]

Передовая практика предполагает:

Определите и используйте проверяющего (т. е. посредника, который гарантирует, что никакая информация, основанная на целях или задачах, не будет передана бесцельному оценщику).
Направляйте все сообщения специалисту по скринингу и привлекайте его на протяжении всей оценки, чтобы защититься от потенциального загрязнения.
Проверяйте все письменные материалы на наличие ссылок на цели и задачи программы до их получения оценщиком.
Сообщите всем участникам программы о бесцельной природе и параметрах бесцельной оценки. Убедитесь, что они понимают, что им не следует передавать информацию, связанную с целями/задачами.
Остановите сотрудников программы, если они начнут говорить о целевой информации.
Определите потенциальные области, в которых можно искать эффекты (частично посредством оценки потребностей), и используйте их в качестве основы для критериев, подлежащих измерению.
Определить и выбрать оправданные инструменты для измерения эффективности и фактических эффектов (т. е. инструменты, которые являются разумными и имеют адекватные основания для использования).
Измеряйте производительность и фактические эффекты и впечатления; наблюдайте за программой как есть.
Сравните фактическую информацию об эффектах программы и опыте ее реализации с заранее выявленными потребностями, чтобы оценить влияние программы на потребности потребителей.
Предложите профиль положительных, отрицательных и нейтральных эффектов.

Этих действий следует избегать:

Общайтесь с сотрудниками программы относительно целей и задач.
Попытайтесь найти заявленные цели и задачи.

Прием

Майкл Скривен впервые представил концепцию GFE в 1970-х годах. ^[3] По мнению Юкера, Форда и Bayer, после появления GFE, этот метод пользовался умеренным интересом. ^[8] После его внедрения его внедрение замедлилось; интерес угас, осталось мало практикующих. В 2000-х годах интерес к GFE немного возродился. В ходе поиска литературы по GFE с 1972 по 2012 год Юкер и Ингрэм (2013) обнаружили около двадцати оценщиков, которые утверждали, что проводили GFE, или другие лица идентифицировали их как проводивших GFE. ^[1]^[9]

Ограничения

GFE выявил ограничения. Во-первых, GFE подходит не во всех обстоятельствах. Например, когда клиент заинтересован исключительно в изучении достижения цели. Во-вторых, он не пропагандируется как отдельный подход к оценке. GFE используется в качестве дополнения к стратегиям оценки, основанной на целях. В-третьих, GFE может быть эффективным при оценке результатов, поскольку оценщик закладывает широкую сеть в поисках результатов. Четвертый ГФЭ игнорирует мнения и цели определенных групп заинтересованных сторон, например, администраторов, дизайнеров и спонсоров. ^[3] Поскольку не существует стандартизированной или регламентированной методологии использования ГФЭ, оценка качества его администрирования затруднена. ^[4]

Ссылки

^ Jump up to: ^а ^б ^с Юкер, Брэндон В.; Ингрэм, Аллисса (2014). «Бесцельная оценка: направление оценки фондов» . Обзор фонда . 5 (4). дои : 10.9707/1944-5660.1182 . ISSN 1944-5660 .
^ Jump up to: ^а ^б ^с Юкер, Брэндон В. (1 декабря 2013 г.). «Бесцельная оценка: потенциальная модель оценки программ социальной работы» . Исследования в области социальной работы . 37 (4): 432–438. дои : 10.1093/swr/svt032 . Архивировано из оригинала 13 августа 2014 года.
^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час Скривен, Майкл (27 августа 1991 г.). Тезаурус оценки (4-е изд.). SAGE Publications, Inc. ISBN 9780803943643 .
^ Jump up to: ^а ^б ^с Юкер, Брэндон; Ингрэм, Аллисса; Байер, Ник (2014). «Оценка бесцельной оценки: тематические исследования четырех бесцелевых оценок». Оценка и планирование программ . 46 : 10–6. doi : 10.1016/j.evalprogplan.2014.05.002 . ПМИД 24863956 .
^ Пофэм, Джеймс (1974). Оценка в образовании . Издательская корпорация Маккатчан. п. 58 . ISBN 082111512X .
^ Дэвидсон, Э.Дж. (2005). Основы методологии оценки: основы надежной оценки . SAGE Publications, Inc.
^ Юкер, Брэндон (2005). «Этнография и оценка: их взаимосвязь и три антропологические модели оценки». Журнал многопрофильной оценки . 3 : 113–132.
^
- Алкин, MC (1972). «Цели в более широком контексте и оценщики, основанные на целях». Комментарий к оценке: Журнал оценки образования .
- Эверс, Джон В. (1980). Область целевых и бесцелевых методов оценки (Диссертация EdD). Каламазу, Мичиган (США): Университет Западного Мичигана.
- Хаус, скорая помощь (1980). Оценка валидности . SAGE Publications, Inc.
- Хаус, скорая помощь (1991). «Исповедь отзывчивой, бесцельной оценки». Практика оценки . 12 : 109–114. дои : 10.1177/109821409101200118 . S2CID 220434776 .
- Саласин, С. (1974). «Изучение бесцелевой оценки: интервью с Майклом Скривеном». Оценка . 2 : 9–16.
- Скривен, Майкл (1973). «Безцелевая оценка». Оценка школы : 319–328.
- Скривен, Майкл (1974). «Плюсы и минусы бесцелевых оценок». Оценка в образовании: текущие приложения : 34–67.
- Скривен, Майкл (февраль 1991 г.). «Следы: за и против бесцельной оценки». Практика оценки . 12 (1): 55–63. дои : 10.1016/0886-1633(91)90024-R .
- Тиагараджан, С. (1975). «Бесцелевая оценка СМИ». Образовательные технологии : 38–40.
^
- Юкер, Брэндон В. (2019). «Что, как и почему? Сравнительный анализ 12 бесцелевых оценок» . Журнал многопрофильной оценки . 15 (33): 16–29.
- Юкер, Брэндон В.; Зелински, Алайна; Хантер, Оуэн К.; Байер, Николас (2016). «Кому нужны цели? Пример бесцелевой оценки» . Журнал многопрофильной оценки . 12 (27): 27–43. ISSN 1556-8180 .

[foundation-1] Jump up to: ^а ^б ^с Юкер, Брэндон В.; Ингрэм, Аллисса (2014). «Бесцельная оценка: направление оценки фондов» . Обзор фонда . 5 (4). дои : 10.9707/1944-5660.1182 . ISSN 1944-5660 .

[youker_1-2] Jump up to: ^а ^б ^с Юкер, Брэндон В. (1 декабря 2013 г.). «Бесцельная оценка: потенциальная модель оценки программ социальной работы» . Исследования в области социальной работы . 37 (4): 432–438. дои : 10.1093/swr/svt032 . Архивировано из оригинала 13 августа 2014 года.

[thesaurus-3] Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час Скривен, Майкл (27 августа 1991 г.). Тезаурус оценки (4-е изд.). SAGE Publications, Inc. ISBN 9780803943643 .

[4_cs-4] Jump up to: ^а ^б ^с Юкер, Брэндон; Ингрэм, Аллисса; Байер, Ник (2014). «Оценка бесцельной оценки: тематические исследования четырех бесцелевых оценок». Оценка и планирование программ . 46 : 10–6. doi : 10.1016/j.evalprogplan.2014.05.002 . ПМИД 24863956 .

[5] Пофэм, Джеймс (1974). Оценка в образовании . Издательская корпорация Маккатчан. п. 58 . ISBN 082111512X .

[6] Дэвидсон, Э.Дж. (2005). Основы методологии оценки: основы надежной оценки . SAGE Publications, Inc.

[7] Юкер, Брэндон (2005). «Этнография и оценка: их взаимосвязь и три антропологические модели оценки». Журнал многопрофильной оценки . 3 : 113–132.

[8] 
Алкин, MC (1972). «Цели в более широком контексте и оценщики, основанные на целях». Комментарий к оценке: Журнал оценки образования .
Эверс, Джон В. (1980). Область целевых и бесцелевых методов оценки (Диссертация EdD). Каламазу, Мичиган (США): Университет Западного Мичигана.
Хаус, скорая помощь (1980). Оценка валидности . SAGE Publications, Inc.
Хаус, скорая помощь (1991). «Исповедь отзывчивой, бесцельной оценки». Практика оценки . 12 : 109–114. дои : 10.1177/109821409101200118 . S2CID 220434776 .
Саласин, С. (1974). «Изучение бесцелевой оценки: интервью с Майклом Скривеном». Оценка . 2 : 9–16.
Скривен, Майкл (1973). «Безцелевая оценка». Оценка школы : 319–328.
Скривен, Майкл (1974). «Плюсы и минусы бесцелевых оценок». Оценка в образовании: текущие приложения : 34–67.
Скривен, Майкл (февраль 1991 г.). «Следы: за и против бесцельной оценки». Практика оценки . 12 (1): 55–63. дои : 10.1016/0886-1633(91)90024-R .
Тиагараджан, С. (1975). «Бесцелевая оценка СМИ». Образовательные технологии : 38–40.

[9] Алкин, MC (1972). «Цели в более широком контексте и оценщики, основанные на целях». Комментарий к оценке: Журнал оценки образования .

[10] Эверс, Джон В. (1980). Область целевых и бесцелевых методов оценки (Диссертация EdD). Каламазу, Мичиган (США): Университет Западного Мичигана.

[11] Хаус, скорая помощь (1980). Оценка валидности . SAGE Publications, Inc.

[12] Хаус, скорая помощь (1991). «Исповедь отзывчивой, бесцельной оценки». Практика оценки . 12 : 109–114. дои : 10.1177/109821409101200118 . S2CID 220434776 .

[13] Саласин, С. (1974). «Изучение бесцелевой оценки: интервью с Майклом Скривеном». Оценка . 2 : 9–16.

[14] Скривен, Майкл (1973). «Безцелевая оценка». Оценка школы : 319–328.

[15] Скривен, Майкл (1974). «Плюсы и минусы бесцелевых оценок». Оценка в образовании: текущие приложения : 34–67.

[16] Скривен, Майкл (февраль 1991 г.). «Следы: за и против бесцельной оценки». Практика оценки . 12 (1): 55–63. дои : 10.1016/0886-1633(91)90024-R .

[17] Тиагараджан, С. (1975). «Бесцелевая оценка СМИ». Образовательные технологии : 38–40.

[9] 
Юкер, Брэндон В. (2019). «Что, как и почему? Сравнительный анализ 12 бесцелевых оценок» . Журнал многопрофильной оценки . 15 (33): 16–29.
Юкер, Брэндон В.; Зелински, Алайна; Хантер, Оуэн К.; Байер, Николас (2016). «Кому нужны цели? Пример бесцелевой оценки» . Журнал многопрофильной оценки . 12 (27): 27–43. ISSN 1556-8180 .

[19] Юкер, Брэндон В. (2019). «Что, как и почему? Сравнительный анализ 12 бесцелевых оценок» . Журнал многопрофильной оценки . 15 (33): 16–29.

[20] Юкер, Брэндон В.; Зелински, Алайна; Хантер, Оуэн К.; Байер, Николас (2016). «Кому нужны цели? Пример бесцелевой оценки» . Журнал многопрофильной оценки . 12 (27): 27–43. ISSN 1556-8180 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]