Алгоритм результатов экзамена Ofqual

В 2020 году Ofqual , регулятор квалификаций, экзаменов и тестов в Англии, разработал алгоритм стандартизации оценок для борьбы с завышением оценок и смягчения прогнозируемых учителями оценок для уровня A и квалификаций GCSE в этом году после того, как экзамены были отменены в рамках программы GCSE. ответ на пандемию COVID-19 .

История

В конце марта 2020 года Гэвин Уильямсон , государственный секретарь по образованию в правительстве Бориса Джонсона консервативном , поручил главе Ofqual Салли Коллиер «обеспечить, насколько это возможно, сохранение квалификационных стандартов и соответствующее распределение оценок». профиль аналогичный тому, что был в предыдущие годы». 31 марта он издал министерское распоряжение в соответствии с Законом о детях и обучении 2009 года. ^[1]

Затем, в августе, 82% оценок уровня «А» были вычислены с использованием алгоритма, разработанного Ofqual. Более 4,6 миллиона экзаменов GCSE в Англии – около 97% от общего числа – были присвоены исключительно с помощью алгоритма. Учитывались рейтинги учителей, а не оценки учителей, представленные школами и колледжами. ^[2]

25 августа Коллиер, курировавший разработку алгоритма расчета Уильямсона, подал в отставку с поста главного регулятора Ofqual из-за растущего давления. ^[3]^[4]

Профессиональная квалификация

Алгоритм не применялся к профессионально-техническим квалификациям (VTQ), таким как BTEC , которые оцениваются в ходе курсовых работ или по мере завершения коротких модулей, и в некоторых случаях проводились адаптированные оценки. ^[5] Тем не менее, из-за высокого уровня инфляции оценок, вызванного решением Ofqual не применять алгоритм к уровням A и GCSE, Pearson Edexcel , экзаменатор BTEC, решил отменить публикацию результатов BTEC 19 августа, за день до того, как они были назначены. быть выпущены, чтобы их можно было повторно модерировать в соответствии с ростом оценок Ofqual. ^[6]

Алгоритм

Ofqual Модель Direct Center Performance основана на показателях каждого центра (школы или колледжа) по оцениваемому предмету. Подробности алгоритма не были обнародованы до тех пор, пока не были получены результаты его первого использования в августе 2020 года, да и то лишь частично. ^[7]

Краткое содержание: Экзаменационный центр предоставил список оценок, прогнозируемых учителем, которые называются «оценками центра» (CAG).; Студенты были перечислены в порядке рангов без каких-либо связей.
Для больших когорт (более 15 человек): При экзаменах с большой когортой; были учтены предыдущие результаты работы центра. За каждый из трех предыдущих лет отмечается количество учащихся, получивших каждую оценку (от A* до U). Берется среднее процентное соотношение.; Это распределение затем применяется к студентам текущего года, независимо от их индивидуального CAG.; Дальнейшая корректировка стандартизации может быть сделана на основе предыдущих личных исторических данных: на уровне A это может быть результат GCSE, на GCSE это может быть Key Stage 2 SAT . ^[8]
Для небольших групп и экзаменов, представляющих интересы меньшинств (до 15 лет).: Отдельный CAG используется без изменений. ^[7]

Формулы

для больших школ с

n\geq 15

P_{kj}=(1-r_{j})C_{kj}+r_{j}(C_{kj}+q_{kj}-p_{kj})

для небольших школ с

n<15

P_{kj}={\text{CAG}}

Переменные: $n$ количество учеников по оцениваемому предмету; $k$ это конкретный сорт; $j$ указывает на школу; $C_{kj}$ — это историческое распределение оценок в школе (в центре) за последние три года, 2017–2019 гг.; $q_{kj}$ — это прогнозируемое распределение оценок, основанное на предыдущих достижениях класса на экзаменах GCSE. Класс, имеющий в основном девятки (высшая оценка) на GCSE, получит много прогнозируемых пятёрок; класс, у которого в основном 1 на экзаменах GCSE, получит много прогнозируемых нас.; $p_{kj}$ — это прогнозируемое распределение оценок за предыдущие годы, основанное на их результатах GCSE. Вы должны это знать, потому что, если в предыдущие годы прогнозировалось, что дела будут плохими, но все было хорошо, то в этом году может быть то же самое.; $r_{j}$ — это доля учеников в классе, по которому доступны исторические данные. Если вы можете точно отследить каждый результат GCSE, то это 1; если вы не можете их отследить, это 0 .; CAG — это оценка центра.; $P_{kj}$ — это результат, который представляет собой распределение оценок для каждой оценки. $k$ в каждой школе $j$ .

Школам было предложено не только сделать справедливую и объективную оценку оценки, которую, по их мнению, получил бы ученик, но также и ранжировать учащихся в каждом классе . Это произошло потому, что процесс статистической стандартизации требовал более детальной информации, чем только оценка. ^[9] Некоторые экзаменационные комиссии выпустили рекомендации по процессу формирования суждения, которые будут использоваться в центрах, где несколько учителей преподают один предмет. ^[10] Оно должно было быть представлено 29 мая 2020 года.

Для учащихся A-level их школа уже включила прогнозируемую оценку в заявку на поступление в университет UCAS . ^[11] Он был представлен до 15 января (15 октября 2019 года для Оксбриджа и медицины) и разослан студентам. UCAS Эта прогнозируемая оценка не совпадает с прогнозируемой оценкой Ofqual.

Обычный способ протестировать алгоритм прогнозирования — протестировать его на данных за предыдущий год: это было невозможно, поскольку порядок рангов учителей не собирался в предыдущие годы. Вместо этого в тестах использовался порядок рангов, сложившийся из окончательных результатов 2019 года. ^[7]

Эффекты алгоритма

Оценки уровня A были объявлены в Англии, Уэльсе и Северной Ирландии 13 августа 2020 года. Почти 36% оказались ниже оценок учителей (CAG), а 3% опустились на две оценки ниже. ^[12]

Побочные эффекты алгоритма

Учащиеся небольших школ или изучающие предметы меньшинств, например, которые предлагаются в небольших частных школах (в которых также с большей вероятностью будет меньше учеников даже по популярным предметам), могут увидеть, что их оценки выше, чем прогнозируют их учителя, особенно когда они попадают в маленькие школы. класс/группа интересов меньшинства. Такие ученики традиционно имеют более узкий диапазон оценок, а более слабым ученикам предлагается уйти. Учащиеся крупных государственных школ, шестиклассников и колледжей FE, которые проводят политику открытого доступа и исторически имели образованных учащихся BAME или уязвимых учащихся, увидели, что их результаты резко упали, чтобы соответствовать исторической кривой распределения. ^[7]

Студенты сочли систему несправедливой, и на Уильямсона было оказано давление, чтобы тот объяснил результаты и отменил свое решение использовать алгоритм, который он заказал и реализовал Ofqual. ^[13] 12 августа Уильямсон объявил о «тройной блокировке», которая позволяет студентам обжаловать результат, используя неопределенный действительный ложный результат. ^[14] Но 15 августа был опубликован совет, в котором были изложены восемь условий, отличающихся от заявления министра. ^[15] Через несколько часов после объявления Ofqual приостановила работу системы. ^[16] 17 августа Ofqual согласился с тем, что учащимся следует присуждать оценку CAG вместо оценки, прогнозируемой алгоритмом. ^[13]

UCAS сообщил 19 августа, что 15 000 учеников были отклонены их университетом первого выбора по оценкам, выставленным алгоритмом. После решения Ofqual использовать немодерируемые прогнозы учителей, многие затронутые ученики получили оценки, соответствующие их предложению, и повторно подали заявки. 90% из них заявили, что стремятся учиться в ведущих университетах. В результате у университетов высшего уровня возникла проблема с пропускной способностью. ^[1]^[13]

Королевское статистическое общество заявило, что предлагало помощь в разработке алгоритма, но отозвало это предложение, когда увидело характер соглашения о неразглашении, которое они должны были подписать. Ofqual не был готов обсуждать это и задержал ответ на 55 дней. ^[17]

Юридическое заключение

Лорд Фалконер , бывший генеральный прокурор , высказал мнение, что были нарушены три закона, и привел пример того, как Ofqual проигнорировал прямое указание министра образования. ^[18]

Фальконер заявил, что формула стандартизации оценок нарушает основные цели, ради которых была создана Ofqual, в соответствии с Законом об ученичестве, навыках, детях и обучении 2009 года . Цели требуют, чтобы система оценок давала достоверное представление о знаниях, навыках и понимании учащегося и позволяла проводить надежные сравнения со учащимися, сдающими экзамены, оцениваемые другими комиссиями, и со учащимися, сдавшими аналогичные экзамены. в предыдущие годы. ^[2]^[18]

Лейбористская партия предположила, что этот процесс был незаконным, поскольку студентам не была предоставлена возможность апелляции. ^[18]^[2] заявляя: «Будет иметь место масса дискриминационных последствий, если этот процесс будет осуществляться на основе отражения результатов предыдущих лет их институтов» и «Это неизбежно поставит в невыгодное положение целый ряд групп с защищенными характеристиками, в нарушение целый ряд антидискриминационного законодательства». ^[18]

См. также

Споры об оценках школьных экзаменов в Великобритании в 2020 году

Ссылки

^ Перейти обратно: ^а ^б Адамс, Ричард; Элгот, Джессика; Стюарт, Хизер; Проктор, Кейт (19 августа 2020 г.). «Офквал проигнорировал предупреждение об экзаменах месяц назад на фоне давления министров» . Хранитель . Проверено 20 августа 2020 г.
^ Перейти обратно: ^а ^б ^с Фергюсон, Донна; Сэвидж, Майкл (15 августа 2020 г.). «Спорный алгоритм экзаменов, позволяющий установить 97% результатов GCSE» . Хранитель . Проверено 19 августа 2020 г.
^ Ричардсон, Ханна (25 августа 2020 г.). «Офквал-начальник уходит в отставку после экзаменационного хаоса» . Новости Би-би-си . Проверено 25 августа 2020 г.
^ «Глава Ofqual Салли Кольер уходит в отставку из-за фиаско на экзаменах» . Хранитель . 25 августа 2020 г. Проверено 25 августа 2020 г.
^ «Официальное заявление о классификации VTQ» . GOV.UK. 18 августа 2020 г. Проверено 20 августа 2020 г.
^ Ричардсон, Ханна (19 августа 2020 г.). «Новые результаты экзаменов — хаос, поскольку оценки BTec снизились» . Новости Би-би-си . Проверено 20 августа 2020 г.
^ Перейти обратно: ^а ^б ^с ^д Харкнесс, Тимандра (17 августа 2020 г.). «Как OfQual не прошел проверку алгоритма» . УнХерд . Проверено 20 августа 2020 г.
^ «Требования к подсчету результатов летом 2020 года» (PDF) . /assets.publishing.service.gov.uk/ . Проверено 20 августа 2020 г.
^ «Летние_оценки_2020_for_GCSE_AS_and_A_level» (PDF) . gov.uk. п. 6 . Проверено 28 августа 2020 г.
^ «Оценочные оценки и порядок рангов Центра подготовки» (PDF) . Квалификация.pearson.com . Проверено 28 августа 2020 г.
^ «Прогнозируемые оценки – что нужно знать для поступления в 2021 году» . УКАС . 3 января 2019 года . Проверено 28 августа 2020 г.
^ «A-level и GCSE: как работал алгоритм экзамена?» . Новости Би-би-си . 20 августа 2020 г. Проверено 23 августа 2020 г. .
^ Перейти обратно: ^а ^б ^с Анонимно (21 августа 2020 г.). « Мы собираем осколки»: дневник вице-канцлера университета о хаосе высшего уровня» . Хранитель . Проверено 21 августа 2020 г.
^ «Тройная блокировка для студентов перед результатами A level и GCSE» . Пресс-релиз . GOV.UK. 12 августа 2020 г. Проверено 21 августа 2020 г.
^ Валавалкар, Аарон (15 августа 2020 г.). «Студенты в Англии должны соответствовать восьми критериям, чтобы подать апелляцию на результаты экзаменов» . Хранитель . Проверено 21 августа 2020 г.
^ ПА Медиа (15 августа 2020 г.). «Ofqual приостанавливает действие критериев апелляции уровня A через несколько часов после их объявления» . Хранитель . Проверено 21 августа 2020 г.
^ Мюррей, Джессика (24 августа 2020 г.). «Королевское статистическое общество наносит ответный удар Ofqual по поводу алгоритма экзаменов» . Хранитель . Проверено 24 августа 2020 г.
^ Перейти обратно: ^а ^б ^с ^д Элгот, Джессика; Адамс, Ричард (19 августа 2020 г.). «Алгоритм фальсификации результатов экзамена был незаконным, - считают лейбористы» . Хранитель . Проверено 19 августа 2020 г.

Внешние ссылки

Требования к подсчету результатов летом 2020 г. – Ofqual, 7 июля 2020 г., обновление от 20 августа
Руководство для студентов по результатам квалификации после 16 лет: лето 2020 г. – Ofqual, 27 июля 2020 г., обновление 19 августа
Сдача экзаменов во время вспышки коронавируса (COVID-19) – рекомендации Министерства образования, опубликованные 20 марта 2020 г., обновленные 27 августа
Обсуждение алгоритма Института политики высшего образования, май 2020 г.
Комитет по образованию Устные доказательства: Влияние Covid-19 на образование и услуги для детей, HC 254 Среда, 2 сентября 2020 г.

[ignored-1] Перейти обратно: ^а ^б Адамс, Ричард; Элгот, Джессика; Стюарт, Хизер; Проктор, Кейт (19 августа 2020 г.). «Офквал проигнорировал предупреждение об экзаменах месяц назад на фоне давления министров» . Хранитель . Проверено 20 августа 2020 г.

[obs-2] Перейти обратно: ^а ^б ^с Фергюсон, Донна; Сэвидж, Майкл (15 августа 2020 г.). «Спорный алгоритм экзаменов, позволяющий установить 97% результатов GCSE» . Хранитель . Проверено 19 августа 2020 г.

[3] Ричардсон, Ханна (25 августа 2020 г.). «Офквал-начальник уходит в отставку после экзаменационного хаоса» . Новости Би-би-си . Проверено 25 августа 2020 г.

[4] «Глава Ofqual Салли Кольер уходит в отставку из-за фиаско на экзаменах» . Хранитель . 25 августа 2020 г. Проверено 25 августа 2020 г.

[5] «Официальное заявление о классификации VTQ» . GOV.UK. 18 августа 2020 г. Проверено 20 августа 2020 г.

[6] Ричардсон, Ханна (19 августа 2020 г.). «Новые результаты экзаменов — хаос, поскольку оценки BTec снизились» . Новости Би-би-си . Проверено 20 августа 2020 г.

[harkness-7] Перейти обратно: ^а ^б ^с ^д Харкнесс, Тимандра (17 августа 2020 г.). «Как OfQual не прошел проверку алгоритма» . УнХерд . Проверено 20 августа 2020 г.

[8] «Требования к подсчету результатов летом 2020 года» (PDF) . /assets.publishing.service.gov.uk/ . Проверено 20 августа 2020 г.

[OFQUAL-9] «Летние_оценки_2020_for_GCSE_AS_and_A_level» (PDF) . gov.uk. п. 6 . Проверено 28 августа 2020 г.

[PPCAG-10] «Оценочные оценки и порядок рангов Центра подготовки» (PDF) . Квалификация.pearson.com . Проверено 28 августа 2020 г.

[11] «Прогнозируемые оценки – что нужно знать для поступления в 2021 году» . УКАС . 3 января 2019 года . Проверено 28 августа 2020 г.

[12] «A-level и GCSE: как работал алгоритм экзамена?» . Новости Би-би-си . 20 августа 2020 г. Проверено 23 августа 2020 г. .

[VC_reaction-13] Перейти обратно: ^а ^б ^с Анонимно (21 августа 2020 г.). « Мы собираем осколки»: дневник вице-канцлера университета о хаосе высшего уровня» . Хранитель . Проверено 21 августа 2020 г.

[triple-14] «Тройная блокировка для студентов перед результатами A level и GCSE» . Пресс-релиз . GOV.UK. 12 августа 2020 г. Проверено 21 августа 2020 г.

[15] Валавалкар, Аарон (15 августа 2020 г.). «Студенты в Англии должны соответствовать восьми критериям, чтобы подать апелляцию на результаты экзаменов» . Хранитель . Проверено 21 августа 2020 г.

[16] ПА Медиа (15 августа 2020 г.). «Ofqual приостанавливает действие критериев апелляции уровня A через несколько часов после их объявления» . Хранитель . Проверено 21 августа 2020 г.

[RSS-17] Мюррей, Джессика (24 августа 2020 г.). «Королевское статистическое общество наносит ответный удар Ofqual по поводу алгоритма экзаменов» . Хранитель . Проверено 24 августа 2020 г.

[illegal-18] Перейти обратно: ^а ^б ^с ^д Элгот, Джессика; Адамс, Ричард (19 августа 2020 г.). «Алгоритм фальсификации результатов экзамена был незаконным, - считают лейбористы» . Хранитель . Проверено 19 августа 2020 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]