Компьютеризированное адаптивное тестирование

Компьютеризированное адаптивное тестирование ( CAT ) — это форма компьютерного теста, который адаптируется к уровню способностей испытуемого. По этой причине его также называют специализированным тестированием . Другими словами, это форма компьютерного теста , в котором следующий элемент или набор вопросов, выбранных для выполнения, зависит от правильности ответов тестируемого на самые последние заданные вопросы.

Описание

CAT последовательно выбирает вопросы с целью максимизации точности экзамена на основе того, что известно об экзаменуемом из предыдущих вопросов. С точки зрения экзаменуемого, сложность экзамена, похоже, соответствует его уровню способностей. Например, если экзаменуемый хорошо справится с заданием средней сложности, ему будет предложен более сложный вопрос. Или, если они справятся плохо, им зададут более простой вопрос. По сравнению со статическими тестами, с которыми сталкивался почти каждый, с фиксированным набором заданий, выдаваемым всем испытуемым, компьютерно-адаптивные тесты требуют меньшего количества тестовых заданий для получения одинаково точных результатов.

Базовый метод компьютерно-адаптивного тестирования представляет собой итерационный алгоритм , состоящий из следующих шагов:

1. В пуле доступных предметов производится поиск оптимального предмета, исходя из текущей оценки способностей испытуемого.
2. Выбранный вопрос предъявляется испытуемому, который затем отвечает на него правильно или неправильно.
3. Оценка способностей обновляется на основе всех предыдущих ответов.
4. Шаги 1–3 повторяются до тех пор, пока не будет выполнен критерий завершения.

До введения первого задания об испытуемом ничего не известно, поэтому алгоритм обычно начинается с выбора задания средней или средне-легкой сложности в качестве первого задания.

В результате адаптивного администрирования разные испытуемые получают совершенно разные тесты. Хотя испытуемым обычно назначаются разные тесты, их оценки способностей сопоставимы (т.е. как если бы они проходили один и тот же тест, как это обычно бывает в тестах, разработанных с использованием классической теории тестирования). Психометрическая технология, позволяющая рассчитывать справедливые баллы по различным наборам заданий, — это теория ответов на задания (IRT). IRT также является предпочтительным методом выбора оптимальных предметов, которые обычно выбираются на основе информации , а не сложности как таковой.

Соответствующая методология, называемая многоэтапным тестированием (MST) или CAST, используется при сдаче единого экзамена на получение диплома сертифицированного бухгалтера . MST позволяет избежать или уменьшить некоторые недостатки CAT, описанные ниже.

Примеры

CAT существует с 1970-х годов, и в настоящее время существует множество оценок , в которых она используется.

• Вступительный тест по менеджменту для выпускников
• MAP-тест от NWEA
• SAT (начнется за пределами США в 2023 году и в США в 2024 году)
• Экзамен на получение лицензии Национального совета
• Батарея профессиональной подготовки вооруженных сил

Кроме того, список активных экзаменов CAT можно найти в Международной ассоциации компьютерного адаптивного тестирования. вместе со списком текущих исследовательских программ CAT и почти полной библиографией всех опубликованных исследований CAT.

Преимущества

Адаптивные тесты могут обеспечить одинаково точные оценки для большинства тестируемых. Напротив, стандартные фиксированные тесты почти всегда обеспечивают наилучшую точность для тестируемых со средними способностями и все более низкую точность для тестируемых с более высокими баллами.

Адаптивный тест обычно можно сократить на 50 %, сохраняя при этом более высокий уровень точности, чем фиксированная версия. Это приводит к экономии времени тестируемого. Экзаменуемые не тратят время на попытки выполнить задания, которые являются слишком сложными или тривиально простыми. Кроме того, организация тестирования получает выгоду от экономии времени; стоимость времени пребывания экзаменуемого существенно снижается. Однако, поскольку разработка CAT требует гораздо больших затрат, чем стандартный тест фиксированной формы, для того, чтобы программа CAT-тестирования была финансово плодотворной, необходима большая популяция.

Большие целевые группы населения обычно могут быть представлены в научных и исследовательских областях. CAT-тестирование в этих аспектах может использоваться для выявления ранних проявлений инвалидности или заболеваний. Рост компьютерного тестирования в этих областях значительно увеличился за последние 10 лет. Компьютерная томография, которая раньше не принималась в медицинских учреждениях и лабораториях, теперь поощряется в рамках диагностики.

Как и любой компьютерный тест , адаптивные тесты могут показывать результаты сразу после тестирования.

Адаптивное тестирование, в зависимости от алгоритма выбора заданий , может снизить воздействие некоторых заданий, поскольку испытуемые обычно получают разные наборы заданий, а не все население получает один набор. Однако это может увеличить воздействие на других (а именно на задания среднего или среднего/легкого уровня, предъявляемые большинству испытуемых в начале теста).

Недостатки

Первая проблема, возникающая в CAT, — это калибровка пула элементов. Чтобы смоделировать характеристики элементов (например, чтобы выбрать оптимальный элемент), все элементы теста должны быть предварительно введены в значительную выборку, а затем проанализированы. Для этого новые задания должны быть смешаны с рабочими элементами экзамена (ответы записываются, но не влияют на баллы тестируемых), что называется «пилотное тестирование», «предварительное тестирование» или «посев». . Это создает проблемы логистики, этики и безопасности. Например, невозможно провести оперативное адаптивное испытание с совершенно новыми, ранее не существовавшими объектами; все элементы должны быть предварительно протестированы на достаточно большой выборке, чтобы получить стабильную статистику по элементам. Эта выборка может достигать 1000 испытуемых. Каждая программа должна решить, какой процент теста может состоять из неоцененных заданий пилотного теста.

Хотя адаптивные тесты имеют алгоритмы контроля воздействия , позволяющие предотвратить чрезмерное использование некоторых элементов, воздействие, обусловленное способностями, часто не контролируется и может легко приблизиться к 1. То есть некоторые элементы часто становятся очень распространенными в тестах для людей с одинаковыми способностями. Это серьезная проблема безопасности, поскольку группы, совместно использующие элементы, вполне могут иметь одинаковый уровень функциональных возможностей. Фактически, полностью рандомизированное обследование является наиболее безопасным (но и наименее эффективным).

Просмотр прошлых элементов обычно запрещен. Адаптивные тесты, как правило, дают более простые задания после того, как человек отвечает неправильно. Предположительно, проницательный экзаменуемый мог бы использовать такие подсказки, чтобы обнаружить неправильные ответы и исправить их. Или можно научить тестируемых сознательно выбирать неправильные ответы, что сделает тест более простым. Обманув адаптивный тест и построив максимально простой экзамен, они смогли затем просмотреть задания и ответить на них правильно, возможно, получив очень высокий балл. Тестируемые часто жалуются на невозможность проверки.

Из-за сложности разработка CAT имеет ряд предпосылок. Должны присутствовать большие размеры выборки (обычно сотни испытуемых), необходимые для калибровки IRT. Элементы должны подсчитываться в реальном времени, если новый элемент должен быть выбран мгновенно. Психометристы, имеющие опыт калибровки IRT и исследований CAT-моделирования, необходимы для предоставления подтверждающей документации. Наконец, должна быть доступна система программного обеспечения, поддерживающая настоящую CAT на основе IRT.

В CAT с ограничением по времени экзаменуемый не может точно спланировать время, которое он может потратить на каждый элемент теста, и определить, находится ли он в темпе для завершения ограниченного по времени раздела теста. Таким образом, экзаменуемые могут быть наказаны за то, что они потратили слишком много времени на сложный вопрос, который представлен в начале раздела, а затем не смогли ответить на достаточное количество вопросов, чтобы точно оценить свои знания в областях, которые остались непроверенными по истечении времени. В то время как тесты CAT без ограничения по времени являются отличными инструментами для формативного оценивания, которое определяет последующее обучение, тесты CAT с ограничением по времени не подходят для итогового оценивания с высокими ставками, используемого для измерения способностей к работе и образовательным программам.

Компоненты

Создание CAT состоит из пяти технических компонентов (следующее адаптировано из Weiss & Kingsbury, 1984). ). В этот список не включены практические вопросы, такие как предварительное тестирование элементов или выпуск в полевых условиях.

1. Калиброванный пул предметов
2. Начальная точка или начальный уровень
3. выбора товара Алгоритм
4. Процедура подсчета баллов
5. Критерий прекращения

Калиброванный пул предметов

Для CAT должен быть доступен набор предметов, из которых он может выбирать. Такие элементы могут создаваться традиционным способом (т. е. вручную) или посредством автоматической генерации элементов . Пул должен быть откалиброван с помощью психометрической модели, которая используется в качестве основы для остальных четырех компонентов. Обычно теория реакции на предмет . в качестве психометрической модели используется Одна из причин популярности теории реагирования на предметы заключается в том, что она относит людей и предметы к одной и той же метрике (обозначаемой греческой буквой тета), что полезно при решении проблем с выбором предметов (см. ниже).

Начальная точка

В CAT элементы выбираются на основе успеваемости экзаменуемого до определенного момента теста. Однако CAT, очевидно, не может дать какую-либо конкретную оценку способностей испытуемого, если ему не были назначены никакие задания. Поэтому необходима другая первоначальная оценка способностей испытуемого. Если известна некоторая предыдущая информация об экзаменуемом, ее можно использовать, но часто CAT просто предполагает, что экзаменуемый обладает средними способностями – следовательно, первое задание часто имеет средний уровень сложности.

Алгоритм выбора товара

Как упоминалось ранее, теория ответов на задания ставит испытуемых и задания на один и тот же показатель. Таким образом, если CAT имеет оценку способностей экзаменуемого, он может выбрать элемент, который наиболее соответствует этой оценке. Технически это делается путем выбора элемента с наибольшей информацией на данный момент. Информация является функцией параметра дискриминации предмета, а также параметра условной дисперсии и псевдоугадывания (если используется).

Процедура подсчета баллов

После сдачи задания CAT обновляет оценку уровня способностей экзаменуемого. Если испытуемый ответил на задание правильно, CAT, скорее всего, оценит его способности несколько выше, и наоборот. Это делается с помощью функции ответа на задание из теории ответа на задание для получения функции правдоподобия способностей испытуемого. Два метода для этого называются оценкой максимального правдоподобия и байесовской оценкой . Последний предполагает априорное распределение способностей испытуемого и имеет две обычно используемые оценки: апостериорное ожидание и апостериорное максимальное ожидание . Максимальное правдоподобие эквивалентно апостериорной оценке Байеса, если равномерное ( f (x) = 1) априорное значение. предполагается Максимальное правдоподобие является асимптотически несмещенным, но не может обеспечить тета-оценку для несмешанного (все правильные или неправильные) вектора ответа, и в этом случае, возможно, придется временно использовать байесовский метод.

Критерий прекращения

CAT Алгоритм предназначен для многократного администрирования заданий и обновления оценки способностей испытуемого. Это будет продолжаться до тех пор, пока пул элементов не будет исчерпан, если в CAT не будет включен критерий прекращения. Часто тест прекращается, когда стандартная ошибка измерения испытуемого падает ниже определенного значения, указанного пользователем, отсюда и вышеприведенное утверждение о том, что преимуществом является то, что оценки испытуемого будут одинаково точными или «равноточными». Другие критерии завершения существуют для различных целей теста, например, если тест предназначен только для того, чтобы определить, должен ли экзаменуемый «сдать» или «не пройден» тест, а не для получения точной оценки его способностей.

Другие вопросы

Пройден-не пройден

Во многих ситуациях цель теста состоит в том, чтобы разделить испытуемых на две или более взаимоисключающие и исчерпывающие категории. Сюда входит общий «аттестационный тест», в котором две классификации являются «пройден» и «не пройден», а также ситуации, когда существует три или более классификации, такие как «недостаточный», «базовый» и «продвинутый» уровни знаний. или компетентность. Тип «адаптивного» CAT на уровне элементов, описанный в этой статье, наиболее подходит для тестов, которые не являются тестами «пройден/не пройден», или для тестов «пройден/не пройден», где обеспечение хорошей обратной связи чрезвычайно важно. Некоторые модификации необходимы для прохождения CAT, также известного как компьютеризированный классификационный тест (CCT) . Для экзаменующихся с истинными баллами, очень близкими к проходному, компьютеризированные классификационные тесты приведут к длительным тестам, в то время как для тех, у кого истинные баллы намного выше или ниже проходного балла, будут самые короткие экзамены.

Например, необходимо применить новый критерий завершения и алгоритм оценки, который классифицирует экзаменуемого по категории, а не дает точечную оценку способностей. Для этого существуют две основные методики. Более известным из них является последовательный тест отношения вероятностей (SPRT). Это формулирует проблему классификации испытуемого как проверку гипотезы о том, что способности испытуемого равны либо некоторому заданному баллу выше минимального балла , либо другому заданному баллу ниже минимального балла. Обратите внимание, что это формулировка точечной гипотезы, а не формулировка составной гипотезы. это более концептуально уместно. Составная формулировка гипотезы будет заключаться в том, что способности испытуемого находятся в области выше или ниже минимального показателя.

Также используется подход доверительного интервала , при котором после выполнения каждого задания алгоритм определяет вероятность того, что истинный балл испытуемого выше или ниже проходного балла. Например, алгоритм может продолжаться до тех пор, пока 95% доверительный интервал для истинного балла больше не будет содержать проходной балл. На этом этапе никаких дополнительных пунктов не требуется, поскольку точность решения о прохождении теста уже составляет 95 %, при условии, что психометрические модели, лежащие в основе адаптивного тестирования, подходят испытуемому и тесту. Первоначально этот подход назывался «адаптивное зачетное тестирование». но его можно применить к неадаптивному выбору заданий и ситуациям классификации с двумя или более оценочными баллами (типичный тест на зачетность имеет один оценочный балл).

На практике алгоритм обычно программируется так, чтобы иметь минимальную и максимальную длину теста (или минимальное и максимальное время администрирования). В противном случае испытуемый со способностями, очень близкими к минимальным, мог бы управлять каждым элементом в банке без принятия решения алгоритмом.

Используемый алгоритм выбора элемента зависит от критерия завершения. Максимизация информации в момент разреза более подходит для SPRT, поскольку она максимизирует разницу в вероятностях, используемых в отношении правдоподобия . Максимизация информации при оценке способностей более подходит для подхода, основанного на доверительном интервале, поскольку он минимизирует условную стандартную ошибку измерения, что уменьшает ширину доверительного интервала, необходимого для классификации.

Практические ограничения адаптивности

Исследователь ETS Марта Стокинг пошутила, что большинство адаптивных тестов на самом деле едва ли являются адаптивными тестами (BAT), поскольку на практике на выбор элементов накладывается множество ограничений. Например, экзамены CAT обычно должны соответствовать требованиям по содержанию; устный экзамен, возможно, должен состоять из равного количества аналогий, типов заданий с заполнением пропусков и синонимов. CAT обычно имеют некоторую форму ограничений экспозиции элементов, чтобы наиболее информативные элементы не были переэкспонированы. Кроме того, в некоторых тестах делается попытка сбалансировать поверхностные характеристики предметов, такие как пол людей в предметах или этническая принадлежность, подразумеваемая их именами. Таким образом, экзамены CAT часто ограничены в выборе предметов, а для некоторых экзаменов ограничения могут быть существенными и требовать сложных стратегий поиска (например, линейного программирования ) для поиска подходящих предметов.

Простым методом контроля воздействия элементов является «случайный» или стратовый метод. Вместо того, чтобы выбирать наиболее информативный элемент в каждом пункте теста, алгоритм случайным образом выбирает следующий элемент из следующих пяти или десяти наиболее информативных элементов. Это можно использовать на протяжении всего теста или только в начале. Другой метод — метод Симпсона-Хеттера. в котором случайное число извлекается из U(0,1) и сравнивается с параметром k _i, определенным для каждого элемента тестируемым пользователем. Если случайное число больше k _i , рассматривается следующий наиболее информативный элемент.

Вим ван дер Линден и коллеги. разработали альтернативный подход, называемый теневым тестированием , который предполагает создание целых теневых тестов как часть выбора элементов. Выбор элементов из теневых тестов помогает адаптивным тестам соответствовать критериям выбора, фокусируясь на глобально оптимальных вариантах (в отличие от вариантов, оптимальных для данного элемента ).

Многомерный

Учитывая набор предметов, многомерный компьютерный адаптивный тест (MCAT) выбирает эти предметы из банка в соответствии с предполагаемыми способностями учащегося, в результате чего получается индивидуальный тест. MCAT стремятся максимизировать точность теста на основе одновременного изучения нескольких способностей (в отличие от компьютерного адаптивного теста – CAT – который оценивает одну способность) с использованием последовательности вопросов, на которые ранее были даны ответы (Piton-Gonçalves & Aluisio, 2012).

См. также

• Отслеживание байесовских знаний
• Электронное оценивание , также известное как компьютерный тест. Использование информационных технологий при оценивании.
• Компьютеризированный классификационный тест
• Образовательные технологии . Использование технологий в образовании для улучшения обучения и преподавания.
• Линейное тестирование на лету
• Набор инструментов НИЗ

Ссылки

Дополнительные источники

• Драсгоу ​​Ф. и Олсон-Бьюкенен Дж. Б. (ред.). (1999). Инновации в компьютеризированном оценивании . Хиллсдейл, Нью-Джерси: Эрлбаум.
• Питон-Гонсалвес Ж.; Алуизио, С.М. (2015). «Многомерное компьютеризированное адаптивное тестирование в образовательных целях: принципы и методы» . Эссе: Оценка и государственная политика в образовании . 23 (87): 389–414. дои : 10.1590/S0104-40362015000100016 .
• Питон-Гонсалвес Ж. и Алуизио С.М. (2012). Архитектура многомерного компьютерного адаптивного теста в образовательных целях. ACM, Нью-Йорк, Нью-Йорк, США, 17–24. дои : 10.1145/2382636.2382644
• Питон-Гонсалвес, Ж. (2020). Адаптивные тесты по Энаде: методическое приложение. Мета: Оценка 12(36):665–688. дои : 10.22347/2175-2753v12i36.2735
• Ван дер Линден, WJ, и Глас, CAW (ред.). (2000). Компьютеризированное адаптивное тестирование: Теория и практика . Бостон, Массачусетс: Клувер.
• Вайнер, Х. (ред.). (2000). Компьютеризированное адаптивное тестирование: Учебник (2-е издание). Махва, Нью-Джерси: ELawrence Erlbaum Associates.
• Вайс, диджей (ред.). (1983). Новые горизонты тестирования: теория скрытых черт и компьютеризированное адаптивное тестирование (стр. 237–254). Нью-Йорк: Академическая пресса.

Дальнейшее чтение

• «Первый адаптивный тест: тест IQ Бине» , Международная ассоциация компьютерного адаптивного тестирования (IACAT)
• «Адаптивное тестирование и анализ производительности» , Procedia Computer Science, Международная конференция по передовым вычислительным технологиям и приложениям (ICACTA)
• Сэндс, Уильям А. (Ред); Уотерс, Брайан К. (Ред); Макбрайд, Джеймс Р. (редактор), Компьютеризированное адаптивное тестирование: от исследования к операции , Вашингтон, округ Колумбия, США: Американская психологическая ассоциация. (1997). XVIII 292 стр. дои : 10.1037/10244-000
• Зара, Энтони Р. (1999). «Использование компьютеризированного адаптивного тестирования для оценки компетентности медсестер для получения лицензии: немного истории и перспектив». Достижения в области медицинских наук. Образование . 4 (1): 39–48. дои : 10.1023/A:1009866321381 . ПМИД   12386434 . S2CID   27771858 .

Внешние ссылки

• Международная ассоциация компьютерного адаптивного тестирования. Архивировано 3 декабря 2009 г. в Wayback Machine.
• Concerto: CAT-платформа с открытым исходным кодом
• FastTest: CAT-платформа, доступна бесплатная версия
• CAT Central Дэвида Дж. Вайса
• Часто задаваемые вопросы о компьютерно-адаптивном тестировании (CAT) . Проверено 15 апреля 2005 г.
• Интерактивное онлайн-руководство по компьютерному адаптивному тестированию от Лоуренса Л. Руднера. Ноябрь 1998 г. Проверено 15 апреля 2005 г.
• Специальный выпуск: Введение в многоэтапное тестирование. Прикладные измерения в образовании, 19(3).
• Компьютеризированные адаптивные тесты - из Информационного центра образовательных ресурсов по измерению и оценке тестов, Вашингтон, округ Колумбия.