Оценка программы

Не путать с программным анализом .

Оценка программы — это систематический метод сбора, анализа и использования информации для ответа на вопросы о проектах, политике и программах . особенно об их эффективности и результативности .

Как в государственном , так и в частном секторе , а также в добровольном секторе , заинтересованные стороны могут быть обязаны оценить – в соответствии с законом или уставом – или захотеть узнать, приводят ли программы, которые они финансируют, реализуют, голосуют за, получают или противостоят, обещанный эффект. В некоторой степени оценка программы подпадает под традиционный анализ затрат и выгод , касающийся справедливой отдачи от затрат экономических и других активов; однако социальные результаты может быть более сложным для оценки, чем рыночные, и требуется другой набор навыков. Принимая во внимание, сколько стоит программа на одного участника, влияние программы , как программу можно улучшить, есть ли лучшие альтернативы, есть ли непредвиденные последствия , а также являются ли цели программы уместными и полезными. Оценщики помогают ответить на эти вопросы. Наилучшая практика заключается в том, чтобы оценка представляла собой совместный проект специалистов по оценке и заинтересованных сторон.

К оценщикам программ применяется широкий спектр различных названий, возможно, иногда бессистемно, но есть некоторые устоявшиеся обычаи: те, кто регулярно использует навыки и методы оценки программ на работе, известны как программные аналитики ; те, чьи должности сочетают в себе обязанности административного помощника или секретаря с оценкой программ, известны как ассистенты программ, клерки программ (Соединенное Королевство), специалисты по поддержке программ или сотрудники программ; Те, чьи должности добавляют к обязанностям по управлению проектами более низкого уровня , известны как координаторы программ.

Процесс оценки считается относительно недавним явлением. Однако зарегистрировано, что запланированная социальная оценка датируется еще 2200 годом до нашей эры. Оценка стала особенно актуальной в США в 1960-х годах, в период социальных программ «Великого общества», связанных с администрациями Кеннеди и Джонсона . Чрезвычайные суммы были инвестированы в социальные программы, но последствия этих инвестиций были в значительной степени неизвестны.

Оценки программ могут включать как количественные , так и качественные методы социальных исследований . Люди, которые занимаются оценкой программ, имеют самые разные знания, такие как социология , психология , экономика , социальная работа , а также такие области политологии , как государственная политика и государственное управление, которые изучали аналогичную методологию, известную как анализ политики . В некоторых университетах также есть специальные программы обучения, особенно на последипломном уровне по оценке программ, для тех, кто изучал предметную область бакалавриата и не обладает навыками оценки программ.

Проведение оценки

Оценка программы может проводиться на нескольких этапах в течение срока действия программы. Каждый из этих этапов ставит разные вопросы, на которые должен ответить оценщик, и, соответственно, необходимы разные подходы к оценке. Росси, Липси и Фриман (2004) предлагают следующие виды оценки, которые могут быть уместны на этих различных этапах:

• Оценка потребности в программе
• Оценка дизайна программы и логики/теории
• Оценка того, как реализуется программа (т. е. реализуется ли она в соответствии с планом? Обеспечивают ли процессы программы максимизацию возможных результатов?)
• Оценка результатов или воздействия программы (т. е. того, чего она фактически достигла)
• Оценка стоимости и эффективности программы

Оценка потребностей

При оценке потребностей исследуется население, на которое рассчитана программа, чтобы увидеть, действительно ли у населения существует потребность, сформулированная в программе; действительно ли это проблема; и если да, то как с этим лучше всего справиться. Это включает в себя выявление и диагностику фактической проблемы, которую пытается решить программа, кого или что затрагивает проблема, насколько широко распространена проблема и каковы измеримые последствия, вызванные этой проблемой. Например, для жилищной программы, направленной на сокращение бездомности, оценщик программы может захотеть выяснить, сколько людей являются бездомными в данном географическом районе и каковы их демографические данные. Росси, Липси и Фриман (2004) предостерегают от проведения вмешательства без должной оценки его необходимости, поскольку это может привести к потере большого количества средств, если необходимость не существовала или была неправильно понята.

Оценка потребностей включает процессы или методы, используемые оценщиками для описания и диагностики социальных потребностей. Это важно для оценщиков, поскольку им необходимо определить, эффективны ли программы, и они не могут сделать этого, пока не определят, в чем состоит проблема/потребность. Программы, которые не проводят оценку потребностей, могут иметь иллюзию, что они устранили проблему/потребность, хотя на самом деле в этом не было никакой необходимости. Оценка потребностей включает в себя исследования и регулярные консультации с заинтересованными сторонами сообщества и людьми, которые получат выгоду от проекта, прежде чем программа может быть разработана и реализована. Следовательно, это должен быть подход «снизу вверх». Таким образом, потенциальные проблемы могут быть выявлены на ранней стадии, поскольку этот процесс вовлек бы сообщество в определение потребностей и тем самым дал бы возможность выявить потенциальные препятствия.

Таким образом, важной задачей оценщика программы является:Во-первых, сформулируйте точное определение проблемы. Оценщикам необходимо сначала определить проблему/потребность. Наиболее эффективно это достигается путем совместного включения всех возможных заинтересованных сторон, т. е. сообщества, на которое воздействует потенциальная проблема, агентов/актеров, работающих над решением и решением проблемы, спонсоров и т. д. Включение участия в процессе на ранних этапах снижает вероятность откат, недопонимание и неполная информация в дальнейшем.

Во-вторых, оцените масштабы проблемы. Четко определив, в чем состоит проблема, оценщикам необходимо затем оценить масштаб проблемы. Им нужно ответить на вопросы «где» и «насколько масштабны». Оценщикам необходимо выяснить, где находится проблема и насколько она велика. Гораздо проще указать на то, что проблема существует, чем указывать, где она находится и насколько она распространена. Росси, Липси и Фриман (2004) привели пример: человек, идентифицирующий некоторых избитых детей, может быть достаточным доказательством, чтобы убедить его в существовании жестокого обращения с детьми. Но указание того, сколько детей оно затрагивает и где оно расположено в географическом и социальном плане, потребует знаний о детях, подвергшихся насилию, характеристиках преступников и влиянии проблемы на всю политическую власть, о которой идет речь.

Это может быть сложно, учитывая, что жестокое обращение с детьми не является публичным поведением, а также иметь в виду, что оценки уровня частного поведения обычно невозможны из-за таких факторов, как незарегистрированные случаи. В этом случае оценщикам придется использовать данные из нескольких источников и применять разные подходы для оценки уровня заболеваемости. Есть еще два вопроса, на которые необходимо ответить: Оценщикам также необходимо ответить на вопросы «как» и «что». Вопрос «как» требует, чтобы оценщики определили, как будет решена эта потребность. Выявив потребность и ознакомившись с оценщиками сообщества, следует провести анализ эффективности, чтобы определить, сможет ли предлагаемый план в программе действительно устранить потребность. Вопрос «что» требует, чтобы оценщики провели анализ задачи, чтобы выяснить, каким будет лучший способ ее выполнения. Например, установлены ли стандарты выполнения работы организацией или необходимо учитывать некоторые правительственные правила при выполнении задачи.

В-третьих, определить и определить цель вмешательства и точно описать характер потребностей в услугах этой группы населения. Важно знать, что/кто является целевой группой населения – это могут быть отдельные лица, группы, сообщества и т. д. Существует три единицы населения: население, находящееся в зоне риска, нуждающееся население и население, пользующееся спросом.

• Население, подверженное риску: это люди со значительной вероятностью развития риска. Например, население, подверженное риску в связи с программами контроля рождаемости, - это женщины детородного возраста.
• Нуждающееся население: это люди с заболеванием, на которое направлена ​​программа; например, группа населения, нуждающаяся в программе, направленной на предоставление АРВ-препаратов ВИЧ-положительным людям, – это ВИЧ-положительные люди.
• Нуждающееся население: та часть нуждающегося населения, которая согласна иметь потребность и желает принять участие в том, что может предложить программа, например, не все ВИЧ-позитивные люди захотят принимать АРВ-препараты.

Возможность указать, что/кто является целью, поможет установить соответствующие границы, чтобы вмешательства могли правильно адресоваться целевой группе населения и быть возможными для применения<

Проведение оценки потребностей состоит из четырех этапов:

1. Выполните анализ «пробелов»

   Оценщикам необходимо сравнить текущую ситуацию с желаемой или необходимой ситуацией. Разница или разрыв между двумя ситуациями поможет определить потребность, цель и задачи программы.

2. Определить приоритеты и важность

   На первом вышеописанном этапе оценщики определили бы ряд мер, которые потенциально могли бы удовлетворить потребность, например, обучение и развитие, организационное развитие и т. д. Теперь их необходимо изучить с точки зрения их значимости для целей программы и ограничений. Это необходимо сделать с учетом следующих факторов: экономическая эффективность (рассмотрите бюджет программы, оцените соотношение затрат и выгод), давление со стороны руководства (ожидает ли высшее руководство решения) и численность населения (много ли задействовано ключевых людей).

3. Определить причины проблем с производительностью и/или возможностей.

   Когда потребности расставлены по приоритетам, следующим шагом будет определение конкретных проблемных областей, требующих решения. А также оценить навыки людей, которые будут проводить мероприятия.

4. Определить возможные решения и возможности роста

   Сравните последствия вмешательства, если оно будет реализовано или нет.

Таким образом, анализ потребностей является очень важным шагом в оценке программ, поскольку эффективность программы невозможно оценить, если мы не знаем, в чем изначально заключалась проблема.

Оценка теории программ

Теория программ, также называемая логической моделью , картой знаний, или путь воздействия, Это предположение, заложенное в способе разработки программы, о том, как действия программы должны привести к достижению намеченных результатов. Эта «логическая модель» часто не формулируется явно людьми, которые запускают программы, она просто предполагается, и поэтому оценщику необходимо выяснить у сотрудников программы, как именно программа должна достичь своих целей, и оценить, соответствует ли эта логика правдоподобно. Например, в программе профилактики ВИЧ можно предположить, что просвещение людей о передаче ВИЧ/СПИДа, рисках и практиках безопасного секса приведет к более безопасному сексу. Однако исследования в Южной Африке все чаще показывают, что, несмотря на повышение уровня образования и знаний, люди по-прежнему часто не практикуют безопасный секс. Таким образом, логика программы, которая опирается на образование как средство побудить людей использовать презервативы, может быть ошибочной. Вот почему важно читать исследования, проведенные в этой области.Объяснение этой логики также может выявить непреднамеренные или непредвиденные последствия программы, как положительные, так и отрицательные. Теория программ выдвигает гипотезы для проверки и оценки воздействия. Разработка логической модели может также обеспечить общее понимание среди сотрудников программы и заинтересованных сторон того, что на самом деле должна делать программа и как она должна это делать, чего часто не хватает (см. Анализ путей воздействия с участием участников ). Конечно, также возможно, что в процессе попытки выявить логическую модель программы оценщики могут обнаружить, что такая модель либо не полностью разработана, внутренне противоречива, либо (в худшем случае) по существу не существует. Это решительно ограничивает эффективность оценки, хотя и не обязательно сокращает или отменяет программу.

Создание логической модели — прекрасный способ помочь визуализировать важные аспекты программы, особенно при подготовке к оценке. Оценщику следует создать логическую модель с учетом вклада множества различных заинтересованных сторон. Логические модели состоят из 5 основных компонентов: ресурсы или входы, действия, результаты, краткосрочные результаты и долгосрочные результаты. Создание логической модели помогает сформулировать проблему, ресурсы и возможности, которые в настоящее время используются для решения проблемы, а также измеримые результаты программы. Рассмотрение различных компонентов программы по отношению к общим краткосрочным и долгосрочным целям позволяет выявить потенциальные несоответствия. Создание реальной логической модели особенно важно, поскольку она помогает разъяснить всем заинтересованным сторонам: определение проблемы, основные цели, а также возможности и результаты программы.

Росси, Липси и Фриман (2004) предлагают четыре подхода и процедуры, которые можно использовать для оценки теории программ. Эти подходы обсуждаются ниже.

• Оценка с учетом социальных потребностей

Это влечет за собой оценку теории программы путем ее сопоставления с потребностями целевой группы населения, для обслуживания которой предназначена программа. Если теория программы не сможет удовлетворить потребности целевой группы населения, она окажется неэффективной, даже если она будет хорошо реализована.

• Оценка логики и правдоподобия

Эта форма оценки включает в себя обращение к группе экспертов-рецензентов критически рассмотреть логику и правдоподобность предположений и ожиданий, заложенных в дизайне программы. Процесс рассмотрения является неструктурированным и открытым и предназначен для решения определенных вопросов, связанных с разработкой программы. Рутман (1980), Смит (1989) и Уолли (1994) предложили перечисленные ниже вопросы, чтобы помочь в процессе обзора.

Четко ли определены цели и задачи программы?

Достижимы ли цели и задачи программы?

Возможен ли процесс изменений, предполагаемый в теории программ?

Являются ли процедуры выявления представителей целевой группы населения, предоставления им услуг и поддержания этих услуг до момента их завершения четко определенными и достаточными?

Являются ли составляющие компоненты, мероприятия и функции программы четко определенными и достаточными?

Достаточно ли ресурсов, выделенных на программу и ее различные мероприятия?

• Оценка посредством сравнения с исследованиями и практикой

Эта форма оценки требует получения информации из исследовательской литературы и существующей практики для оценки различных компонентов теории программы. Оценщик может оценить, соответствует ли теория программы научным данным и практическому опыту программ со схожими концепциями.

• Оценка посредством предварительного наблюдения

Этот подход предполагает включение в процесс оценки наблюдений из первых рук, поскольку он обеспечивает проверку реальности соответствия между теорией программы и самой программой. Наблюдения могут быть сосредоточены на достижимости результатов, обстоятельствах целевой группы населения, а также достоверности программных мероприятий и вспомогательных ресурсов.

Эти различные формы оценки теории программ можно проводить, чтобы убедиться в ее правильности.

Райт и Уоллис (2019) описали дополнительный метод оценки теории программ, основанный на ее структуре . Этот подход, известный как интегративный анализ высказываний (IPA), основан на исследовательских потоках, обнаруживающих, что теории с большей вероятностью будут работать так, как ожидалось, когда они имеют лучшую структуру (помимо значения и данных). IPA включает в себя, во-первых, выявление предложений (утверждений о причине и следствии) и создание визуальной диаграммы этих предложений. Затем исследователь изучает количество понятий и причинно-следственные связи между ними (круги и стрелки на диаграмме), чтобы измерить широту и глубину понимания, отраженного в структуре теории. Мерой широты является количество понятий. Это основано на идее, что реальные программы включают в себя множество взаимосвязанных частей, поэтому теория, которая показывает большее количество концепций, показывает большую широту понимания программы. Глубина — это процент концепций, которые являются результатом более чем одной другой концепции. Это основано на идее, что в реальных программах события имеют более одной причины. Следовательно, концепция, которая является результатом более чем одной другой концепции теории, показывает лучшее понимание этой концепции; теория с более высоким процентом более понятных концепций показывает большую глубину понимания программы.

Оценка реализации

Анализ процесса выходит за рамки теории того, что должна делать программа, и вместо этого оценивает, как программа реализуется. Эта оценка определяет, реализуются ли компоненты, определенные как критически важные для успеха программы. Оценка определяет, охвачены ли целевые группы населения, люди получают намеченные услуги, имеет ли персонал соответствующую квалификацию. Оценка процесса – это непрерывный процесс, в ходе которого можно использовать повторяющиеся измерения для оценки эффективности реализации программы. Эта проблема особенно остра, поскольку многие инновации, особенно в таких областях, как образование и государственная политика, состоят из довольно сложных цепочек действий. Например, оценку процесса можно использовать в исследованиях в области общественного здравоохранения. Многие из этих элементов полагаются на предыдущую правильную реализацию других элементов и потерпят неудачу, если предыдущая реализация была выполнена неправильно. Это было убедительно продемонстрировано Джином В. Глассом и многими другими в 1980-х годах. Поскольку неправильное или неэффективное внедрение приведет к таким же нейтральным или отрицательным результатам, как и правильное внедрение плохой инновации, важно, чтобы оценочные исследования оценивали сам процесс внедрения. В противном случае хорошая инновационная идея может быть ошибочно охарактеризована как неэффективная, хотя на самом деле она просто никогда не была реализована так, как задумано.

Оценка воздействия (эффективности)

Оценка воздействия определяет причинные последствия программы. Это предполагает попытку измерить, достигла ли программа запланированных результатов, то есть результатов программы.

Результаты программы

Результатом является состояние целевой группы населения или социальные условия, которые, как ожидается, изменится в результате реализации программы. Результаты программы – это наблюдаемые характеристики целевой группы населения или социальных условий, а не самой программы. Таким образом, концепция результата не обязательно означает, что цели программы фактически изменились или что программа каким-либо образом вызвала их изменение.

Существует два типа результатов, а именно уровень результатов и изменение результатов, которые также связаны с эффектом программы.

• Уровень результата относится к статусу результата в определенный момент времени.
• Изменение результата означает разницу между уровнями результатов в разные моменты времени.
• Эффект программы относится к той части изменения результата, которая может быть приписана исключительно программе, а не влиянию какого-либо другого фактора.

Измерение результатов программы

Измерение результата – это вопрос представления обстоятельств, определяемых как результат, с помощью наблюдаемых показателей, которые систематически изменяются в зависимости от изменений или различий в этих обстоятельствах. Измерение результатов – это систематический способ оценить, в какой степени программа достигла намеченных результатов. Согласно Мутону (2009), измерение воздействия программы означает демонстрацию или оценку накопленного дифференцированного непосредственного и возникающего эффекта, некоторые из которых могут быть непреднамеренными и, следовательно, непредвиденными.

Измерение результатов помогает понять, эффективна ли программа или нет. Это также помогает прояснить понимание программы. Но самая важная причина предпринять усилия – это понять влияние работы на людей, которым она обслуживается. Благодаря собранной информации можно определить, какие мероприятия следует продолжать и развивать, а какие необходимо изменить, чтобы повысить эффективность программы.

Это может включать использование сложных статистических методов для измерения эффекта программы и обнаружения причинно-следственной связи между программой и различными результатами.

Оценка эффективности

Наконец, анализ затрат и выгод или экономической эффективности оценивает эффективность программы. Оценщики описывают преимущества и стоимость программы для сравнения. Эффективная программа имеет более низкое соотношение затрат и выгод. Существует два типа эффективности: статическая и динамическая. В то время как статическая эффективность касается достижения целей с наименьшими затратами, динамическая эффективность касается постоянного улучшения.

Определение причинно-следственной связи

Возможно, самая сложная часть оценки – это определить, вызывает ли сама программа те изменения, которые наблюдаются среди населения, на которое она была нацелена. События или процессы вне программы могут быть реальной причиной наблюдаемого результата (или реальным предотвращением ожидаемого результата).

Причинно-следственную связь определить сложно. Одной из основных причин этого является предвзятость самоотбора . Люди сами выбирают участие в программе. Например, в программе профессионального обучения одни люди решают участвовать, а другие нет. Те, кто участвует, могут существенно отличаться от тех, кто не участвует. Они могут быть более решительны в поиске работы или иметь лучшие ресурсы поддержки. Эти характеристики на самом деле могут быть причиной наблюдаемого результата увеличения занятости, а не программы профессионального обучения.

Оценки, проводимые методом случайного распределения, позволяют сделать более убедительные выводы о причинно-следственной связи. Случайное распределение людей для участия или неучастия в программе уменьшает или устраняет предвзятость при самостоятельном выборе . Таким образом, группа людей, которые участвуют, вероятно, будет более сопоставима с группой, которая не участвовала.

Однако, поскольку большинство программ не могут использовать случайное присвоение, причинно-следственную связь определить невозможно. Анализ воздействия по-прежнему может предоставить полезную информацию. Например, можно описать результаты программы. Таким образом, оценка может показать, что люди, принимавшие участие в программе, с большей вероятностью добились определенного результата, чем люди, которые не участвовали.

Если программа достаточно велика и имеется достаточно данных, статистический анализ можно использовать для обоснования программы, показав, например, что другие причины маловероятны.

Надежность, валидность и чувствительность

Важно обеспечить, чтобы инструменты (например, тесты, анкеты и т. д.), используемые при оценке программ, были максимально надежными, валидными и чувствительными. По данным Росси и др. (2004, стр. 222), «Плохо выбранная или плохо продуманная мера может полностью подорвать ценность оценки воздействия из-за вводящих в заблуждение оценок. Только если показатели результатов действительны, надежны и достаточно чувствительны, оценка воздействия может считаться заслуживающей доверия».

Надежность

Надежность измерительного инструмента – это «степень, в которой эта мера дает одни и те же результаты при многократном использовании для измерения одной и той же вещи» (Росси и др., 2004, стр. 218). Чем более надежен показатель, тем выше его статистическая сила и тем более достоверны его выводы. Если измерительный прибор ненадежен, он может ослабить и скрыть реальные эффекты программы, и программа «будет казаться менее эффективной, чем она есть на самом деле» (Росси и др., 2004, стр. 219). Поэтому важно обеспечить максимальную достоверность оценки.

Срок действия

Валидность средства измерения – это «степень, в которой он измеряет то, для измерения чего предназначен» (Росси и др., 2004, стр. 219). Эту концепцию может быть трудно точно измерить: при обычном использовании в оценках инструмент может считаться действительным, если он признан действительным заинтересованными сторонами (к заинтересованным сторонам могут относиться, например, спонсоры, администраторы программ и т. д.).

Чувствительность

Основная цель процесса оценки – определить, оказывает ли программа влияние на социальную проблему, которую она пытается решить; следовательно, измерительный прибор должен быть достаточно чувствительным, чтобы распознать эти потенциальные изменения (Росси и др., 2004). Инструмент измерения может быть нечувствительным, если он содержит параметры, измеряющие результаты, на которые программа не могла повлиять, или если инструмент изначально был разработан для применения к отдельным людям (например, стандартизированные психологические измерения), а не для групповых условий (Росси и др. , 2004). Эти факторы могут привести к появлению «шума», который может скрыть любой эффект, который могла оказать программа.

Только те меры, которые адекватно соответствуют критериям надежности, обоснованности и чувствительности, можно назвать заслуживающими доверия оценками. Обязанность специалистов по оценке состоит в том, чтобы давать заслуживающие доверия оценки, поскольку их выводы могут иметь далеко идущие последствия. Позорная оценка, которая не может показать, что программа достигает своей цели, хотя на самом деле она приводит к положительным изменениям, может привести к незаслуженной потере финансирования программы.

Шаги по созданию структуры оценки программы

Центр по контролю заболеваний (CDC) выделяет шесть шагов для полной оценки программы. Описанные шаги включают в себя: вовлечение заинтересованных сторон, описание программы, фокусировка на дизайне оценки, сбор достоверных доказательств, обоснование выводов, а также обеспечение использования и обмена извлеченными уроками. Эти шаги могут происходить в рамках цикла, представляющего непрерывный процесс оценки.

Оценка коллективного воздействия

Хотя упомянутые здесь процессы оценки программ подходят для большинства программ, очень сложные нелинейные инициативы, например, использующие модель коллективного воздействия (CI), требуют динамического подхода к оценке. Коллективное воздействие — это «приверженность группы важных игроков из разных секторов общей программе решения конкретной социальной проблемы». и обычно включает три этапа, каждый из которых предполагает свой рекомендуемый подход к оценке:

• Ранняя фаза: участники CI изучают возможные стратегии и разрабатывают планы действий. Характеризуется неопределенностью.

Рекомендуемый подход к оценке: Оценка развития, которая поможет партнерам CI понять контекст инициативы и ее развитие: «Оценка развития включает в себя обратную связь в режиме реального времени о том, что происходит в сложных динамических системах, поскольку новаторы стремятся добиться системных изменений».

• Средний этап: партнеры CI реализуют согласованные стратегии. Некоторые результаты становится легче предвидеть.

Рекомендуемый подход к оценке: формирующая оценка для уточнения и улучшения прогресса, а также постоянная оценка развития для изучения новых элементов по мере их появления. Формирующая оценка включает в себя «тщательный мониторинг процессов, чтобы реагировать на возникающие свойства и любые неожиданные результаты».

• Более поздняя фаза: деятельность достигает стабильности и больше не находится в стадии формирования. Опыт дает знания о том, какие действия могут быть эффективными.

Рекомендуемый подход к оценке: Суммативная оценка «использует как количественные, так и качественные методы, чтобы лучше понять, чего достиг [проект] и как и почему это произошло».

Планирование оценки программы

Планирование оценки программы можно разбить на четыре части: фокусировка оценки, сбор информации, использование информации и управление оценкой. Оценка программы включает в себя размышление над вопросами о цели оценки, о том, какие вопросы необходимо задать и что будет сделано с собранной информацией. Критические вопросы для рассмотрения включают в себя:

• Что я буду оценивать?
• Какова цель этой оценки?
• Кто будет использовать эту оценку? Как они будут его использовать?
• На какие вопросы призвана ответить эта оценка?
• Какая информация мне нужна, чтобы ответить на вопросы?
• Когда необходима оценка? Какие ресурсы мне нужны?
• Как я буду собирать необходимые мне данные?
• Как будут анализироваться данные?
• Каковы сроки реализации?

Методологические ограничения и проблемы

Скромный подход

«Скудный подход к оценке» разработан, чтобы помочь оценщикам, работающим в условиях ограниченного бюджета, ограниченного доступа или наличия данных и ограниченного времени выполнения работ, проводить эффективные оценки, которые являются методологически строгими (Bamberger, Rugh, Church & Fort, 2004). Этот подход стал ответом на сохраняющуюся растущую потребность в процессах оценки, которые были бы более быстрыми и экономичными в сложных условиях бюджета, ограниченности времени и ограниченной доступности данных. Однако не всегда возможно спланировать оценку так, чтобы достичь самых высоких стандартов. Многие программы не включают процедуру оценки в свой дизайн или бюджет. Следовательно, многие процессы оценки не начинаются до тех пор, пока программа уже запущена, что может привести к ограничению времени, бюджета или данных для оценщиков, что, в свою очередь, может повлиять на надежность, достоверность или чувствительность оценки. > Подход с ограниченными возможностями помогает обеспечить максимально возможную методологическую строгость в условиях этих ограничений.

Бюджетные ограничения

Часто программы сталкиваются с бюджетными ограничениями, поскольку большинство первоначальных проектов не включают бюджет для проведения оценки (Bamberger et al., 2004). Таким образом, это автоматически приводит к тому, что на оценки выделяется меньший бюджет, которого недостаточно для тщательной оценки. Из-за бюджетных ограничений может быть сложно эффективно применять наиболее подходящие методологические инструменты. Эти ограничения могут, следовательно, повлиять на время, необходимое для проведения оценки (Bamberger et al., 2004). Бюджетные ограничения можно решить, упростив схему оценки, пересмотрев размер выборки, изучив экономические методы сбора данных (например, использование волонтеров для сбора данных, сокращение опросов или использование фокус-групп и ключевых информаторов) или поиск надежных вторичных данных (Bamberger et др., 2004).

Временные ограничения

Наибольшее ограничение во времени, с которым может столкнуться оценщик, - это когда оценщика вызывают для проведения оценки, когда проект уже находится в стадии реализации, если ему дается ограниченное время для проведения оценки по сравнению с продолжительностью исследования, или если он не было предоставлено достаточно времени для адекватного планирования. Ограничения по времени особенно проблематичны, когда оценщик не знаком с территорией или страной, в которой реализуется программа (Bamberger et al., 2004). Временные ограничения можно решить с помощью методов, перечисленных выше в разделе «Бюджетные ограничения», а также путем тщательного планирования, обеспечивающего эффективный сбор и анализ данных в ограниченном временном пространстве.

Ограничения данных

Если оценка начинается на позднем этапе программы, исходные данные о состоянии целевой группы до начала вмешательства могут отсутствовать (Bamberger et al., 2004). Другая возможная причина нехватки данных заключается в том, что данные были собраны сотрудниками программы и содержат систематические ошибки в отчетности или плохие стандарты ведения учета и впоследствии малопригодны (Bamberger et al., 2004). Еще одним источником ограничений данных может стать трудность доступа к целевой группе для сбора данных – например, бездомные, наркоманы, рабочие-мигранты и т. д. (Bamberger et al., 2004). Ограничения данных можно устранить путем восстановления исходных данных из вторичных данных или использования нескольких методов. Несколько методов, таких как сочетание качественных и количественных данных, могут повысить достоверность за счет триангуляции и сэкономить время и деньги.Кроме того, эти ограничения можно преодолеть путем тщательного планирования и консультаций с заинтересованными сторонами программы. Четко определив и поняв потребности клиента до проведения оценки, можно оптимизировать и сократить затраты и время процесса оценки, сохраняя при этом доверие.

В целом, ограничения по времени, деньгам и данным могут иметь негативные последствия для достоверности, надежности и возможности переноса оценки. Подход с ограниченными возможностями был создан, чтобы помочь оценщикам исправить указанные выше ограничения путем определения способов сокращения затрат и времени, восстановления исходных данных и обеспечения максимального качества при существующих ограничениях (Bamberger et al., 2004).

Пятиуровневый подход

Пятиуровневый подход к оценке развивает стратегии, на которых основан ограниченный подход к оценке. Первоначально он был разработан Джейкобсом (1988) как альтернативный способ оценки программ на уровне сообщества и как таковой был применен к программе для детей и семей на уровне штата в Массачусетсе, США. Пятиуровневый подход предлагается в качестве концептуальной основы для более точного сопоставления оценок с характеристиками самих программ, а также с конкретными ресурсами и ограничениями, присущими каждому контексту оценки. Другими словами, пятиуровневый подход направлен на то, чтобы адаптировать оценку к конкретным потребностям каждого контекста оценки.

Более ранние уровни (1–3) генерируют описательную и процессно-ориентированную информацию, а более поздние уровни (4–5) определяют как краткосрочные, так и долгосрочные эффекты программы. Пять уровней организованы следующим образом:

• Уровень 1: оценка потребностей (иногда называемая предварительной реализацией)
• Уровень 2: мониторинг и подотчетность
• Уровень 3: проверка качества и разъяснение программы (иногда называемое пониманием и уточнением)
• Уровень 4: достижение результатов
• Уровень 5: установление воздействия

Для каждого уровня определяются цель(и) и соответствующие задачи, которые позволяют достичь указанной цели уровня. Например, целью первого уровня, «Оценка потребностей», будет документирование потребности в программе в сообществе. Задачей этого уровня будет оценка потребностей и активов сообщества путем работы со всеми соответствующими заинтересованными сторонами.

Хотя уровни структурированы для последовательного использования, а это означает, что информация, собранная на более ранних уровнях, необходима для задач на более высоких уровнях, это признает гибкий характер оценки. Таким образом, можно переходить с более поздних уровней обратно на предыдущие или даже работать на двух уровнях одновременно. Однако оценщикам программ важно отметить, что программа должна оцениваться на соответствующем уровне.

Говорят, что пятиуровневый подход полезен для программ поддержки семьи, в которых особое внимание уделяется расширению прав и возможностей сообщества и участников. Это связано с тем, что он поощряет подход, основанный на участии всех заинтересованных сторон, и именно благодаря этому процессу размышлений достигается расширение прав и возможностей.

Методологические проблемы, связанные с языком и культурой

Цель этого раздела – привлечь внимание к некоторым методологическим проблемам и дилеммам, с которыми потенциально могут столкнуться оценщики при проведении оценки программы в развивающейся стране. Во многих развивающихся странах основными спонсорами оценки являются донорские агентства из развитого мира, и этим агентствам требуются регулярные отчеты об оценке, чтобы поддерживать подотчетность и контроль над ресурсами, а также собирать доказательства успеха или неудачи программы. Однако существует множество препятствий и проблем, с которыми сталкиваются оценщики при попытке реализовать программу оценки, которая пытается использовать методы и системы, которые не разработаны в контексте, в котором они применяются. Некоторые из проблем включают различия в культуре, взглядах, языке и политических процессах.

Культура определяется Эббаттом (1998, стр. 416) как «созвездие как письменных, так и неписаных ожиданий, ценностей, норм, правил, законов, артефактов, ритуалов и поведения, которые пронизывают общество и влияют на то, как люди ведут себя в обществе». Культура может влиять на многие аспекты процесса оценки, включая сбор данных, реализацию программы оценки, а также анализ и понимание результатов оценки. В частности, инструменты, которые традиционно используются для сбора данных, такие как анкеты и полуструктурированные интервью, должны быть чувствительны к различиям в культуре, если они изначально были разработаны в другом культурном контексте. Понимание и значение конструкций, которые оценщик пытается измерить, не могут быть общими между оценщиком и выборочной совокупностью, и, таким образом, перенос концепций является важным понятием, поскольку это повлияет на качество сбора данных, выполняемого оценщиками, поскольку а также анализ и результаты, полученные на основе данных.

Язык также играет важную роль в процессе оценки, поскольку язык тесно связан с культурой. Язык может быть основным барьером для передачи понятий, к которым пытается получить доступ оценщик, и часто требуется перевод. Существует множество проблем с переводом, включая потерю смысла, а также преувеличение или усиление смысла переводчиками. Например, термины, специфичные для контекста, могут не переводиться на другой язык с тем же весом или значением. В частности, инструменты сбора данных должны учитывать смысл, поскольку предмет исследования может не считаться конфиденциальным в определенном контексте и может оказаться чувствительным в контексте, в котором проводится оценка. Таким образом, оценщикам необходимо учитывать две важные концепции при использовании инструментов сбора данных: лексическую эквивалентность и концептуальную эквивалентность. Лексическая эквивалентность задает вопрос: как можно сформулировать вопрос на двух языках, используя одни и те же слова? Это трудная задача, и использование таких методов, как обратный перевод, может помочь оценщику, но не может привести к идеальной передаче смысла. Это приводит к следующему пункту: концептуальной эквивалентности. Однозначный перенос концепций из одной культуры в другую не является обычным явлением. Таким образом, инструменты сбора данных, которые не прошли адекватных испытаний и пилотных испытаний, могут давать бесполезные результаты, поскольку концепции, измеряемые с помощью этого инструмента, могли принять другое значение и, таким образом, сделать инструмент ненадежным и недействительным.

Таким образом, можно видеть, что оценщикам необходимо принимать во внимание методологические проблемы, создаваемые различиями в культуре и языке при попытке провести оценку программы в развивающейся стране.

Результаты использования

Существует три традиционных способа использования результатов оценки: убедительное использование , прямое (инструментальное) использование и концептуальное использование .

Убедительное использование

Убеждающее использование – это использование результатов оценки с целью убедить аудиторию либо поддержать программу, либо выступить против нее. Если «убеждающим» не является тот же человек, который проводил оценку, эта форма использования не представляет большого интереса для оценщиков, поскольку они часто не могут предвидеть возможные будущие попытки убеждения.

Прямое (инструментальное) использование

Специалисты по оценке часто адаптируют свои оценки для получения результатов, которые могут оказать прямое влияние на улучшение структуры или процесса программы. Например, оценка нового образовательного вмешательства может привести к результатам, которые не указывают на улучшение оценок учащихся. Это может быть связано с тем, что вмешательство не имеет прочной теоретической основы, или вмешательство может быть проведено не так, как первоначально предполагалось. Мы надеемся, что результаты оценки заставят создателей вмешательства вернуться к чертежной доске, чтобы воссоздать основную структуру вмешательства или даже изменить процессы реализации.

Концептуальное использование

Но даже если результаты оценки не оказывают прямого влияния на изменение программы, их все равно можно использовать для информирования людей о проблемах, которые программа пытается решить. Возвращаясь к примеру оценки нового образовательного вмешательства, результаты также можно использовать для информирования преподавателей и учащихся о различных барьерах, которые могут влиять на трудности обучения учащихся. Эта новая информация может затем инициировать ряд исследований этих барьеров.

Переменные, влияющие на использование

Существует пять условий, которые, по всей видимости, влияют на полезность результатов оценки, а именно актуальность , связь между оценщиками и пользователями результатов , обработка информации пользователями , правдоподобность результатов , а также уровень участия или пропаганды результатов оценки. пользователи .

Рекомендации по максимальному использованию

Цитируется непосредственно из Росси и др. (2004, с. 416).:

• Оценщики должны понимать когнитивные стили лиц, принимающих решения.
• Результаты оценки должны быть своевременными и доступными при необходимости.
• Оценки должны учитывать обязательства заинтересованных сторон по программе.
• Планы использования и распространения должны быть частью плана оценки.
• Оценки должны включать оценку использования

Внутренние и внешние оценщики программ

Выбор оценщика, выбранного для оценки программы, можно считать столь же важным, как и сам процесс оценки. Оценщики могут быть внутренними (лица, связанные с выполняемой программой) или внешними (лица, не связанные с какой-либо частью выполнения/реализации программы). (Отдел надзорных служб, 2004 г.). Ниже приводится краткое изложение преимуществ и недостатков внутренних и внешних оценщиков, адаптированное из Отдела надзорных служб (2004 г.). Более полный список преимуществ и недостатков внутренних и внешних оценщиков см. в (Отдел надзорных служб, 2004 г.). ).

Внутренние оценщики

Преимущества

• Может лучше знать программу в целом и обладать неформальными знаниями о программе.
• Менее угрожающе, поскольку уже знаком с персоналом
• Менее затратно

Недостатки

• Может быть менее объективным
• Может быть более занят другими видами деятельности программы и не уделять оценке полного внимания.
• Возможно, он не имеет достаточной подготовки в качестве оценщика.

Внешние оценщики

Преимущества

• Более объективный процесс, предлагает новые перспективы, разные точки зрения для наблюдения и критики процесса.
• Может быть в состоянии посвятить больше времени и внимания оценке
• Может иметь больший опыт и оценочный мозг

Недостатки

• Может оказаться более дорогостоящим и потребовать больше времени для заключения контракта, мониторинга, переговоров и т. д.
• Может быть незнаком с персоналом программы и вызывать беспокойство по поводу оценки
• Может быть незнаком с политикой организации и некоторыми ограничениями, влияющими на программу.

Три парадигмы

позитивист

Поттер (2006) идентифицирует и описывает три широкие парадигмы оценки программ. Первым и, вероятно, наиболее распространенным является позитивистский подход, при котором оценка может происходить только там, где существуют «объективные», наблюдаемые и измеримые аспекты программы, требующие преимущественно количественных доказательств. Позитивистский подход включает такие аспекты оценки, как оценка потребностей, оценка теории программы, оценка программного процесса, оценка воздействия и оценка эффективности (Росси, Липси и Фриман, 2004). Подробным примером позитивистского подхода является исследование, проведенное Калифорнийским институтом государственной политики в отчете под названием «Оценка академических программ в общественных колледжах Калифорнии», в котором специалисты по оценке изучают измеримые действия (т.е. данные о зачислении) и проводят количественные оценки, такие как факторный анализ.

Интерпретационный

Вторая парадигма, определенная Поттером (2006), – это интерпретативные подходы, в которых утверждается, что оценщику важно развивать понимание точки зрения, опыта и ожиданий всех заинтересованных сторон. Это приведет к лучшему пониманию различных значений и потребностей заинтересованных сторон, что имеет решающее значение, прежде чем можно будет сделать суждение о достоинствах или ценности программы. Контакт оценщика с программой часто длится в течение длительного периода времени, и, хотя стандартизированного метода не существует, обычно используются наблюдение, интервью и фокус-группы.В отчете, подготовленном по заказу Всемирного банка, подробно описаны 8 подходов, в которых качественные и количественные методы могут быть интегрированы и, возможно, дать понимание, которого невозможно достичь с помощью только одного метода.

Критически-освободительный

Поттер (2006) также выделяет критически-эмансипаторские подходы к оценке программ, которые в значительной степени основаны на исследованиях действий в целях социальных преобразований. Этот тип подхода гораздо более идеологичен и часто включает в себя большую степень социальной активности со стороны оценщика. Этот подход будет подходящим для качественных и коллективных оценок. Поттер утверждает, что из-за критического внимания к структурам общественной власти и акцента на участии и расширении прав и возможностей этот тип оценки может быть особенно полезен в развивающихся странах.

Несмотря на парадигму, которая используется при оценке любой программы, будь то позитивистская, интерпретативная или критически-эмансипаторская, важно признать, что оценка происходит в конкретных социально-политических контекстах. Оценка не существует в вакууме, и все оценки, осознают они это или нет, подвержены влиянию социально-политических факторов. Важно осознавать, что оценки и выводы, полученные в результате такого рода процесса оценки, могут быть использованы в пользу или против определенных идеологических, социальных и политических программ (Weiss, 1999). Это особенно актуально в эпоху, когда ресурсы ограничены и между организациями существует конкуренция за приоритетность одних проектов над другими (Louw, 1999).

Оценка расширения возможностей

Основная статья: Оценка расширения возможностей

Оценка расширения прав и возможностей использует концепции, методы и результаты оценки для содействия совершенствованию и самоопределению конкретной программы, нацеленной на конкретную целевую группу/участников программы. Оценка расширения прав и возможностей ориентирована на вовлечение участников программы в внесение изменений в программы, на которые они нацелены. Одним из основных направлений оценки расширения прав и возможностей является вовлечение участников программы в проведение процесса оценки. Затем за этим процессом часто следует своего рода критическое осмысление программы. В таких случаях внешний/сторонний оценщик выступает в роли консультанта/тренера/фасилитатора для участников программы и стремится понять программу с точки зрения участников. Как только будет получено четкое понимание точки зрения участников, можно разработать соответствующие шаги и стратегии (с ценным вкладом участников) и реализовать их для достижения желаемых результатов.

По словам Феттермана (2002) оценка полномочий состоит из трех этапов;

• Создание миссии
• Подведение итогов
• Планирование на будущее

Создание миссии

На первом этапе оценщики просят участников программы и сотрудников (программы) определить миссию программы. Оценщики могут решить сделать этот шаг, собрав такие стороны вместе и попросив их сформулировать и обсудить миссию программы. Логика этого подхода заключается в том, чтобы показать каждой стороне, что могут быть разные взгляды на то, в чем на самом деле заключается миссия программы.

Подведение итогов

Подведение итогов в качестве второго шага состоит из двух важных задач. Первая задача связана с составлением участниками программы и персоналом программы списка текущих ключевых мероприятий, которые имеют решающее значение для функционирования программы. Вторая задача связана с ранжированием выявленных ключевых мероприятий, также известным как расстановка приоритетов . Например, каждого члена партии можно попросить оценить каждое ключевое действие по шкале от 1 до 10, где 10 — самое важное, а 1 — наименее важное. Роль оценщика при выполнении этой задачи заключается в содействии интерактивному обсуждению между участниками в попытке установить некую основу общего значения и понимания, относящегося к ключевым видам деятельности. Кроме того, соответствующая документация (например, финансовые отчеты и информация об учебной программе) может быть вынесена на обсуждение при рассмотрении некоторых ключевых мероприятий.

Планирование на будущее

После определения приоритетов ключевых мероприятий следующим шагом является планирование будущего. Здесь оценщик спрашивает участников программы и сотрудников программы, как они хотели бы улучшить программу в отношении перечисленных ключевых мероприятий. Цель состоит в том, чтобы создать нить согласованности, посредством которой созданная миссия (шаг 1) направляет подведение итогов (шаг 2), которые формируют основу для планов на будущее (шаг 3). Таким образом, при планировании будущего конкретные цели согласовываются с соответствующими ключевыми видами деятельности. В дополнение к этому участникам и сотрудникам программы также важно определить возможные формы фактических данных (измеримые показатели), которые можно использовать для мониторинга прогресса в достижении конкретных целей. Цели должны быть связаны с деятельностью программы, талантами, ресурсами и объемом возможностей – короче говоря, сформулированные цели должны быть реалистичными.

Эти три этапа оценки расширения возможностей создают потенциал для более эффективной работы программы и большего соответствия потребностям целевой группы населения. Оценка расширения прав и возможностей как процесс, которому способствует квалифицированный оценщик, вооружает и расширяет возможности участников, предоставляя им «новый» способ критического мышления и размышлений о программах. Кроме того, это дает участникам и сотрудникам программы возможность осознать свою способность добиться изменений в программе посредством коллективных действий.

Трансформационная парадигма

Трансформационная парадигма является неотъемлемой частью включения социальной справедливости в оценку. Донна Мертенс, главный исследователь в этой области, утверждает, что преобразовательная парадигма «фокусируется в первую очередь на точках зрения маргинализированных групп и анализе системных властных структур с помощью смешанных методов в целях содействия социальной справедливости и правам человека». Трансформационная парадигма возникла после того, как маргинализированные группы, которые исторически были оттеснены в сторону при оценке, начали сотрудничать с учеными, выступая за социальную справедливость и права человека при оценке. Преобразующая парадигма вводит в процесс оценки множество различных парадигм и подходов, что приводит к тому, что процесс оценки постоянно подвергается сомнению.

И Американская ассоциация оценки , и Национальная ассоциация социальных работников обращают внимание на этическую обязанность обладать культурной компетентностью при проведении оценок. Культурная компетентность в оценке может быть широко определена как системный ответный запрос, который активно осознает, понимает и ценит культурный контекст, в котором происходит оценка; который формирует и формулирует эпистемологию оценочной деятельности; который использует методологию, соответствующую культуре и контексту; и в котором используются средства интерпретации, созданные заинтересованными сторонами, для получения результатов и их дальнейшего использования. Многие руководители в области здравоохранения и оценки осторожно отмечают, что культурная компетентность не может быть определена с помощью простого контрольного списка, а, скорее, является признаком, который развивается с течением времени. В основе культурной компетентности при оценке лежит подлинное уважение к изучаемым сообществам и открытость к поиску глубины в понимании различных культурных контекстов, практик и парадигм мышления. Это включает в себя творческий подход и гибкость для учета различных культурных контекстов, а также повышенное понимание различий во власти, существующих в контексте оценки. Важные навыки включают в себя: способность выстраивать взаимопонимание, преодолевая различия, завоевывать доверие членов сообщества, а также размышлять над собой и признавать свои собственные предубеждения.

Парадигмы

Парадигмы аксиология , онтология , эпистемология и методология отражают практику социальной справедливости в оценке. Эти примеры направлены на устранение неравенства и несправедливости в обществе путем содействия инклюзивности и равенству в правах человека.

Аксиология (ценности и ценностные суждения)

Аксиологическое предположение трансформационной парадигмы опирается на четыре основных принципа:

• Важность культурного уважения
• Содействие социальной справедливости
• Содействие правам человека
• Решение проблемы неравенства

Онтология (Реальность)

Различия во взглядах на то, что реально, определяются различными ценностями и жизненным опытом. В свою очередь, эти ценности и жизненный опыт часто связаны с различиями в доступе к привилегиям, основанным на таких характеристиках, как инвалидность, пол, сексуальная идентичность, религия, раса/этническая принадлежность, национальное происхождение, политическая партия, уровень дохода, возраст, язык и иммиграция. или статус беженца.

Эпистемология (Знания)

Знание конструируется в контексте власти и привилегий, и последствия зависят от того, какой версии знания предоставляется привилегия. «Знания социально и исторически расположены в сложном культурном контексте».

Методология (систематическое исследование)

Методологические решения направлены на определение подхода, который наилучшим образом облегчит использование процесса и результатов для повышения социальной справедливости; определить системные силы, которые поддерживают статус-кво, и те, которые позволят произойти изменениям; и признать необходимость критических и рефлексивных отношений между оценщиком и заинтересованными сторонами.

Линзы

Действуя в рамках социальной справедливости, крайне важно иметь возможность смотреть на мир через призму тех, кто испытывает несправедливость. Критическая расовая теория, феминистская теория и теория квир/ЛГБТК — это основы того, как, по нашему мнению, другие должны думать об обеспечении справедливости для маргинализированных групп. Эти линзы создают возможность сделать каждую теорию приоритетной в решении проблемы неравенства.

Критическая расовая теория

Критическая расовая теория (CRT) является расширением критической теории, которая фокусируется на неравенстве, основанном на расе и этнической принадлежности. Дэниел Солорзано описывает роль CRT как обеспечивающую основу для исследования и выявления тех системных аспектов общества, которые позволяют сохранять дискриминационный и репрессивный статус-кво расизма.

Феминистская теория

Суть феминистских теорий состоит в том, чтобы «разоблачить индивидуальные и институциональные практики, которые лишают женщин и других угнетенных групп доступа и игнорируют или обесценивают женщин».

Квир/теория ЛГБТК

Теоретики квир/ЛГБТК подвергают сомнению гетеросексистские предубеждения, которые пронизывают общество с точки зрения власти и дискриминации по отношению к меньшинствам сексуальной ориентации. Из-за деликатности вопросов, связанных со статусом ЛГБТК, специалисты по оценке должны знать о безопасных способах защиты личности таких людей и обеспечивать выявление дискриминационной практики, чтобы построить более справедливое общество.

Государственные требования

Структура оценки программ в области общественного здравоохранения

Учитывая дефицит федерального бюджета, администрация Обамы перешла к применению «подхода, основанного на фактических данных» к государственным расходам, включая строгие методы оценки программ. В бюджете президента на 2011 год предусмотрено финансирование 19 оценок государственных программ для таких агентств, как Министерство образования и Агентство США по международному развитию (USAID). Межведомственная группа достигает цели повышения прозрачности и подотчетности путем создания эффективных сетей оценки и использования передового опыта. Шестиэтапная схема проведения оценки программ общественного здравоохранения, опубликованная Центрами по контролю и профилактике заболеваний (CDC), первоначально увеличила акцент на программной оценке государственных программ в США. Структура такова:

1. Привлекайте заинтересованные стороны
2. Опишите программу.
3. Сосредоточьтесь на оценке.
4. Соберите достоверные доказательства.
5. Обоснуйте выводы.
6. Обеспечьте использование и обмен полученными уроками.

В январе 2019 года Закон об основах разработки политики, основанной на фактических данных, ввел новые требования к федеральным агентствам, такие как назначение главного специалиста по оценке. Руководство, опубликованное Управлением управления и бюджета по реализации этого закона, требует от агентств разработать многолетнюю программу обучения, в которой есть конкретные вопросы, на которые агентство хочет ответить для улучшения стратегических и операционных результатов. Агентства также должны составить годовой план оценки, обобщающий конкретные оценки, которые агентство планирует провести для решения вопросов, включенных в программу обучения.

Виды оценки

Существует множество различных подходов к оценке программ. Каждый служит разной цели.

• Оценка, ориентированная на использование
• Модель оценки CIPP
• Формативное оценивание
• Суммативное оценивание
• Оценка развития
• Оценка, ориентированная на принципы
• Оценка, основанная на теории
• Реалистичная оценка

Модель оценки CIPP

Основная статья: Модель оценки CIPP

История модели CIPP

Модель оценки CIPP была разработана Дэниелом Стаффлбимом и его коллегами в 1960-х годах. CIPP — это аббревиатура от «Контекст», «Ввод», «Процесс» и «Продукт». CIPP — это модель оценки, которая требует оценки контекста , входных данных , процесса и продукта при определении ценности программы. CIPP представляет собой подход к оценке, ориентированный на принятие решений, который подчеркивает систематическое предоставление информации для управления и эксплуатации программы.

Модель CIPP

Структура CIPP была разработана как средство увязки оценки с принятием решений по программе . Его цель – обеспечить аналитическую и рациональную основу для принятия решений по программе, основанную на цикле планирования, структурирования, реализации, анализа и пересмотра решений, каждое из которых рассматривается через различные аспекты оценки – контекст, входные данные, оценку процесса и продукта.

Модель CIPP – это попытка сделать оценку непосредственно связанной с потребностями лиц, принимающих решения, на этапах и мероприятиях программы. (CIPP) Stufflebeam Модель оценки контекста, входных данных , процессов и продуктов рекомендуется в качестве основы для систематического руководства концепцией, проектированием, реализацией и оценкой проектов сервисного обучения, а также обеспечения обратной связи и оценки эффективности проекта для постоянного улучшения.

Четыре аспекта оценки CIPP

Этими аспектами являются контекст, входные данные, процесс и продукт. Эти четыре аспекта оценки CIPP помогают лицу, принимающему решения, ответить на четыре основных вопроса:

• Что нам делать?

Это включает сбор и анализ данных оценки потребностей для определения целей, приоритетов и задач. Например, контекстная оценка программы повышения грамотности может включать в себя анализ существующих целей программы повышения грамотности, результатов тестов на достижение грамотности, проблем персонала (общих и частных), политики и планов в области грамотности, а также проблем сообщества, представлений или отношений и потребностей.

• Как нам следует это сделать?

Это включает в себя шаги и ресурсы, необходимые для достижения новых целей и задач, и может включать определение успешных внешних программ и материалов, а также сбор информации.

• Делаем ли мы это, как планировали?

Это дает лицам, принимающим решения, информацию о том, насколько хорошо реализуется программа. Постоянно контролируя программу, лица, принимающие решения, узнают такие вещи, как то, насколько хорошо она следует планам и руководящим принципам, возникающие конфликты, поддержка и моральный дух персонала, сильные и слабые стороны материалов, проблемы с доставкой и бюджетированием.

• Программа сработала?

Измеряя фактические результаты и сравнивая их с ожидаемыми, лица, принимающие решения, могут лучше решить, следует ли продолжать программу, изменять ее или вообще прекратить. В этом суть оценки продукта.

Использование CIPP на разных этапах оценки

В качестве руководства по оценке модель CIPP позволяет оценщикам оценивать программу на разных этапах, а именно: до начала программы, помогая оценщикам оценить потребность, и в конце программы оценить, дала ли программа эффект.

Модель CIPP позволяет оценщикам задавать формирующие вопросы в начале программы, а затем поддерживать оценку воздействия программы посредством задавания обобщающих вопросов по всем аспектам программы.

• Контекст : Что нужно сделать? Против. Были ли удовлетворены важные потребности?
• Вход : Как это сделать? Против. Была ли использована защитная конструкция?
• Процесс : Это делается? Против. Был ли проект хорошо реализован?
• Продукт : Успех ли? Против. Удалась ли попытка?

См. также

• Оценка воздействия
• Оценка воздействия
• Совместный анализ путей воздействия
• Политический анализ
• Политические исследования

Дальнейшее чтение

• Борланд Дж. и Ценг Ю.П. (2011). Учебник по проведению оценки социальных программ. Паритет, 24(7), 8.
• Боулметис, Джон и Датвин, Филлис. Азбука оценки (2005)
• Кук, Томас Д. и Кэмпбелл, Дональд Т. Квази-эксперименты: проектирование и анализ полевых условий (1979)
• Хайдуков, Данил; Тасалов Кирилл; Щепетина Екатерина; Чуева, Екатерина (2016). Совершенствование методических подходов к повышению эффективности государственных программ Российской Федерации // Научная конференция МГУ имени М.В. Ломоносова «Эффективное управление», Полиграф Сервис, Москва, стр. 65–73
• Прескилл, Халли, Паркхерст, Марси и Джастер, Дженнифер Сплански. «Руководство по оценке коллективного воздействия» (2014 г.)
• Руководство для менеджера программы по оценке, второе издание , Управление планирования, исследований и оценки, Управление по делам детей и семей. * Ривлин, Алиса М. Систематическое мышление для социальных действий (1971).
• Росси, Питер Х., Фриман, Ховард А. и Липси, Марк В.. Оценка. Системный подход (1999)
• Сучман, Эдвард А. Оценочные исследования: принципы и практика в программах государственной службы и социальных действий (1967)
• Вайс, Кэрол Х. Оценочные исследования: методы оценки эффективности программы (1972)
• Холи Джозеф С., Хэтри Гарри П., новичок Кэтрин Э. и др. (2010). Справочник по практической оценке программ, третье издание . Сан-Франциско: Джосси-Басс. ISBN  978-0-470-52247-9 .

Внешние ссылки

• Администрация по делам детей и семей. Руководство для менеджера программы по оценке. Обсуждение оценки включает главы «Зачем оценивать» и «Что такое оценка».
• BetterEvaluation BetterEvaluation: обмен информацией для улучшения оценки
• Американская ассоциация оценки. Включает ссылку на ресурсы оценки , такие как организации, сайты ссылок, списки обсуждений по электронной почте, консультантов и т. д.
• Канадское общество оценки включает ссылку на информацию об оценке, такую ​​как услуги, профессиональное развитие, ресурсы, организации, региональные отделения.
• Шестиступенчатая система CDC . Также здесь доступны Центры по контролю и профилактике заболеваний. Структура оценки программ в области общественного здравоохранения. MMWR 1999;48(№RR-11) . Включает описание логических моделей в разделе «Шаги».
• Справочник по планированию исследований и социальным измерениям . Делберт Чарльз Миллер, Нил Дж. Салкинд (2002), издание: 6, исправленное. Опубликовано SAGE.
• EvalPartners (EvalYouth) Международная сеть оценки и инструменты обучения
• EvaluationWiki . Миссия EvaluationWiki — сделать свободным доступ к сборнику актуальной информации и ресурсов для всех, кто занимается наукой и практикой оценки. EvaluationWiki представлена ​​некоммерческой организацией Evaluation Resource Institute .
• Бесплатные ресурсы для оценки программ и методов социальных исследований. Это доступ к ресурсам по оценке программ, инструкциям, онлайн-руководствам, руководствам, книгам по методам оценки и бесплатному программному обеспечению, связанному с оценкой.
• Инновационная сеть Некоммерческая организация, работающая над обменом инструментами и ноу-хау планирования и оценки. Организация предоставляет онлайн-инструменты, консультации и обучение для некоммерческих организаций и спонсоров.
• Ссылки на ресурсы по оценке и оцениванию Список ссылок на ресурсы по нескольким темам, включая: центры, построение сообщества, образование и обучение методам оценки; Фонды; Правительство и организации Индианы; Ссылки собраны...; Логические модели; оценка эффективности и электронные портфолио, политические и частные группы или компании, профессиональные ассоциации, организации и пабы, Университет Пердью, правительство США, веб-поиск публикаций по автору и теме, а также тематический метапоиск Vivisimo.
• Управление по оценке программ и подотчетности правительства Законодательного собрания штата Мэн. Отличный пример правительственного отдела по оценке программ со ссылками на несколько подробных отчетов, включающих методологию, результаты оценок, рекомендации и планы действий.
• Национальное общество по оценке законодательных программ. Включает ссылки на государственные учреждения по оценке программ и/или аудиту эффективности в США.
• 4-часовые программы развития молодежи Это обучающий веб-сайт, который предоставляет помощь желающим оценить свои программы.
• Оценка программы и управление результатами - The Urban Institute
• Что такое оценка программы: руководство для начинающих Джин Шакман