Упражнение по оценке исследований
Исследование по оценке исследований ( RAE ) — мероприятие, проводимое примерно каждые пять лет от имени четырех советов по финансированию высшего образования Великобритании ( HEFCE , SHEFC , HEFCW , DELNI ) для оценки качества исследований, проводимых британскими высшими учебными заведениями. Заявкам RAE по каждой предметной области (или единице оценки ) экспертная группа специалистов по предмету присваивает рейтинг. Рейтинги используются для информирования о распределении финансирования исследований, взвешенного по качеству (QR), которое каждое высшее учебное заведение получает от своего национального совета по финансированию. Предыдущие РАЭ имели место в 1986, 1989, 1992, 1996 и 2001 годах. Самые последние результаты были опубликованы в декабре 2008 года. [1] В 2014 году она была заменена Системой совершенствования исследований (REF).
Различные средства массовой информации составили рейтинговые таблицы учреждений и дисциплин на основе результатов RAE 2008 года. Различные методологии приводят к схожим, но неидентичным рейтингам.
История
[ редактировать ]Первое мероприятие по оценке исследований в сфере высшего образования в Великобритании состоялось в 1986 году при правительстве Маргарет Тэтчер . Его проводил Комитет по университетским грантам под председательством кембриджского математика Питера Суиннертона-Дайера . Целью исследования было определить распределение финансирования британским университетам в период жестких бюджетных ограничений. Комитет получил отчеты об исследованиях из 37 предметных областей («центров затрат») университетов, а также пять избранных результатов исследований. Он выдавал рейтинги качества с пометками «выдающееся», «выше среднего», «среднее» или «ниже среднего». Финансирование исследований, выделяемое университетам (так называемое «финансирование, связанное с качеством»), зависело от рейтингов качества предметных областей. По словам Суиннертона-Дайера, цель заключалась в том, чтобы обеспечить определенную степень прозрачности распределения финансирования во время сокращения бюджетов. [2]
Последующая оценка исследования была проведена в 1989 году под названием «Исследовательская избирательность» Советом по финансированию университетов . В ответ на жалобу университетов на то, что им не разрешили представить свой «полный состав», Суиннертон-Дайер разрешил подачу двух результатов исследований на каждого сотрудника. Оценка также была расширена до 152 предметных областей («единиц оценки»). По словам Роджера Брауна и Хелен Карассо, только около 40 процентов финансирования исследований было выделено на основе оценки представленных материалов. Остальное было распределено на основе количества сотрудников и студентов, а также доходов от исследовательских грантов. [2]
В 1992 году различие между университетами и политехническими институтами было отменено . Совет по финансированию университетов был заменен региональными советами по финансированию, такими как HEFCE . Бехрам Бехрадния, директор по политике HEFCE, пришел к выводу, что оценка исследований должна стать «гораздо более надежной и строгой». Это привело к учреждению исследования по оценке исследований в 1992 году. Результаты исследования 1992 года, тем не менее, были оспорены в суде Институтом стоматологической хирургии, и судья предупредил, что система должна стать более прозрачной. В последующих упражнениях группам по оценке пришлось гораздо более четко излагать критерии оценки и методы работы. В 1996 году все оценки, основанные на объеме, были отменены, чтобы учесть критику в отношении того, что вознаграждался объем, а не качество. [2]
В 1992 году также предусматривалось, что сотрудники, представленные для оценки, должны были занять должность к определенной дате («дате переписи»), чтобы противостоять критике по поводу того, что ушедшие сотрудники все еще учитывались при оценке. Это привело к явлению «переманивания» высококвалифицированных кадров другими университетами накануне даты переписи населения. В эксперименте 2001 года заслуга персонала, перешедшего в другое учреждение в середине цикла, могла быть разделена между двумя учреждениями. В учениях 2008 года это было отменено. [2]
Оценка 2008 года также принесла серьезные изменения. Вместо единой оценки за всю предметную область («единица оценки») оценка присваивалась каждому результату исследования. Это было сделано, чтобы противостоять критике о том, что крупные отделы могли скрыть «очень длинный хвост» меньшей работы и при этом получать высокие рейтинги, и, наоборот, отличные сотрудники в отделах с низким рейтингом не могли получить адекватное финансирование. Таким образом, отдельные оценки за единицы оценки были заменены «профилями качества», которые указывали долю исследований каждого факультета по каждой категории качества. [2]
Шкала
[ редактировать ]2008
[ редактировать ]RAE 2008 года использовала четырехбалльную шкалу качества и возвращала профиль, а не единый совокупный показатель качества для каждой единицы.Уровни качества, основанные на оценке результатов исследований, исследовательской среды и показателей уважения, определяются как:
| Рейтинг | Описание |
|---|---|
| 4* | Качество, ведущее в мире с точки зрения оригинальности, значимости и строгости. |
| 3* | Качество, которое превосходно на международном уровне с точки зрения оригинальности, значимости и строгости, но, тем не менее, не соответствует самым высоким стандартам качества. |
| 2* | Качество, признанное на международном уровне с точки зрения оригинальности, значимости и строгости. |
| 1* | Качество, признанное на национальном уровне с точки зрения оригинальности, значимости и строгости. |
| Неклассифицированный | Качество, которое не соответствует стандартам национально признанной работы. Или работа, которая не соответствует опубликованному определению исследования для целей данной оценки. |
Каждой единице оценки был присвоен профиль качества – гистограмма из пяти столбцов, – указывающая долю исследований, которые соответствуют каждому из четырех уровней качества или не классифицированы.
Предыдущие оценки
[ редактировать ]В 1992, 1996 и 2001 годах для каждого из рейтингов использовались следующие описания.
| Рейтинг 2001 и 1996 годов | Рейтинг 1992 года | Описание |
|---|---|---|
| 5* | 5* | Качество исследований, которое соответствует достижимому уровню международного совершенства в более чем половине представленных исследовательских работ и достижимому уровню национального совершенства в остальных случаях. |
| 5 | 5 | Качество исследований, которое соответствует достижимому уровню международного совершенства почти в половине представленных исследовательских работ и достижимому уровню национального совершенства практически во всех остальных областях. (то же определение) |
| 4 | 4 | Качество исследований, которое соответствует достижимому уровню национального совершенства практически во всех представленных исследовательских мероприятиях, что свидетельствует о некоторых доказательствах международного превосходства. (То же определение) |
| 3а | 3 | Качество исследований, которое соответствует достижимому уровню национального совершенства в более чем двух третях представленной исследовательской деятельности, что, возможно, свидетельствует о международном превосходстве. (Качество исследований, которое соответствует достижимому уровню национального совершенства в большинстве подобластей деятельности или международному уровню в некоторых) |
| 3б | 3 | Качество исследований, которое соответствует достижимому уровню национального совершенства в более чем половине представленных исследовательских работ. (Качество исследований, которое соответствует достижимому уровню национального совершенства в большинстве подобластей деятельности или международному уровню в некоторых) |
| 2 | 2 | Качество исследований, которое соответствует достижимому уровню национального совершенства почти в половине представленных исследовательских работ. (То же определение) |
| 1 | 1 | Качество исследований, которое соответствует достижимому уровню национального совершенства ни в одной из представленных исследовательских работ или практически ни в одной из представленных исследовательских работ. (То же определение) |
Эти рейтинги были применены к «единицам оценки», таким как французский язык или химия, которые часто приравниваются к факультетам университета. Были созданы различные неофициальные рейтинговые таблицы исследовательских возможностей университетов путем агрегирования результатов по единицам оценки. [ нужна ссылка ] Составление рейтинговых таблиц университетов на основе RAE проблематично, поскольку важными факторами являются объем и качество.
Процесс оценки
[ редактировать ]Процесс оценки RAE фокусируется на качестве результатов исследований (что обычно означает статьи, опубликованные в научных журналах и материалах конференций), исследовательской среде и показателях уважения. Каждая предметная группа определяет точные правила в рамках общего руководства. Для участия в RAE 2008 учреждениям предлагается представить четыре результатов исследования, опубликованных в период с января 2001 г. по декабрь 2007 г., для каждого штатного сотрудника, выбранного для включения. [3]
В ответ на критику предыдущих оценок и изменений в трудовом законодательстве RAE 2008 года делает больше для того, чтобы учитывать работников, работающих неполный рабочий день, или тех, кто недавно достиг достаточного уровня трудового стажа, чтобы быть включенным в этот процесс.
Критика
[ редактировать ]RAE не осталась без критиков. В ходе различных его версий мнения исследователей, менеджеров и политиков разделились. [4] Среди критических замечаний можно назвать тот факт, что он явно игнорирует публикации большинства штатных исследователей в Великобритании на том основании, что они работают по срочным контрактам. Согласно руководящим принципам RAE 2008, большинство научных сотрудников «не имеют права числиться в качестве активных научных сотрудников». [5] Публикации исследователей по срочным контрактам исключаются из оценочного упражнения, если только эти публикации не могут быть зачислены сотруднику, имеющему право на участие в RAE. Это применимо, даже если оцениваемый сотрудник внес лишь незначительный вклад в статью. [6] Справедливо и обратное явление: активные сотрудники, не занимающиеся исследованиями и работающие по постоянным контрактам, например, преподаватели, которые отвечали в первую очередь за преподавательскую деятельность, также оказались под более глубоким контрактным давлением со стороны нанимающих университетов для производства исследовательской продукции. Другая проблема заключается в том, что сомнительно, что группы экспертов обладают необходимым опытом для оценки качества результатов исследований, поскольку эксперты работают гораздо хуже, когда они выходят за рамки своей конкретной области специализации. [7]
С 1996 года AUT , теперь включенный в состав UCU , поддерживает политику противодействия программе оценки исследований. [8] По ее мнению,
RAE оказало катастрофическое влияние на систему высшего образования Великобритании, что привело к закрытию факультетов с сильным исследовательским профилем и здоровому набору студентов. Оно несет ответственность за потерю рабочих мест, дискриминационную практику, повсеместную деморализацию персонала, сужение исследовательских возможностей из-за чрезмерной концентрации финансирования и подрыв связи между преподаванием и исследованиями.
Официальный обзор оценки исследований, «Отчет Робертса» за 2003 год, подготовленный по заказу финансирующих органов Великобритании. [9] рекомендовал внести изменения в оценку исследований, отчасти в ответ на такую критику.
Специальный комитет Палаты общин по науке и технологиям рассмотрел отчет Робертса и высказал более оптимистичную точку зрения: [10] утверждая, что «RAE имело положительный эффект: оно стимулировало университеты к управлению своими исследованиями и обеспечило направление средств на области передовых исследований», он пришел к выводу, что «произошло заметное улучшение исследовательской деятельности университетов». Тем не менее, он утверждал, что «RAE в ее нынешнем виде отжила свое», и предложил реформировать RAE, в основном на основе рекомендаций Робертса.
Планируемые изменения в системе RAE
[ редактировать ]Было объявлено [11] в бюджете на 2006 год указано , что после мероприятий в 2008 году будет разработана система показателей для информирования о будущих распределениях финансирования QR. Предполагается, что после первоначальных консультаций с сектором высшего образования Советы по финансированию высшего образования введут систему оценки, основанную на метриках, по предметам в области науки, техники, техники и медицины. Процесс экспертной оценки, вероятно, сохранится по предметам математики, статистики, искусства, гуманитарных и социальных наук.
HEFCE разработал новый набор механизмов, известный как « Система передового опыта исследований» (REF). [12] который был представлен как продолжение RAE 2008 года.
Ссылки
[ редактировать ]- ^ «РАЭ 2008» . Упражнение по оценке исследования . Проверено 20 августа 2013 г.
- ^ Перейти обратно: а б с д и Пол Джамп, Эволюция REF , Times Higher Education, 17 октября 2013 г.
- ^ «Определения» . РАЭ 2008 . Проверено 20 августа 2013 г.
- ^ Алис, Оанча (2014). «Оценка исследований как технология управления в Соединенном Королевстве: результаты исследования воздействия RAE 2008» . Zeitschrift für Erziehungswissenschaft . 17 : 83–110. дои : 10.1007/s11618-014-0575-5 .
- ^ Рекомендации RAE 2008, пункт 79.
- ^ Мэдден, Эндрю (19 декабря 2008 г.). «Исследователи РАЭ забыли» . Хранитель . Проверено 20 августа 2013 г.
- ^ Корбин, Зоя (7 мая 2009 г.). «Неспециализированный гамбит RAE мог привести к грубым ошибкам, говорится в исследовании» . Высшее образование Таймс . Проверено 20 августа 2013 г.
- ^ «РАЭ 2008» . Союз университетов и колледжей . Проверено 20 августа 2013 г.
- ^ Обзор оценки исследования. Архивировано 20 июля 2007 г. в Wayback Machine - отчет сэра Гарета Робертса финансирующим органам Великобритании, май 2003 г.
- ^ «Наука и технологии – одиннадцатый доклад» . Парламент Великобритании. 23 сентября 2004 года . Проверено 5 июля 2014 г.
- ^ Шепард, Джессика (30 января 2007 г.). «Трудный патч» . Хранитель . Проверено 20 августа 2013 г.
- ^ «Система превосходства исследований» . ССЫЛКА 2014 . Проверено 20 августа 2013 г.
Дальнейшее чтение
[ редактировать ]- Браун, Роджер; Карассо, Хелен (2013), Все на продажу? Маркетизация высшего образования Великобритании , Routledge, ISBN 978-0-415-80980-1