Целостная оценка
Комплексная оценка или целостная оценка в образовании, основанном на стандартах , представляет собой подход к выставлению оценок эссе с использованием простой структуры оценок, которая основывает оценку на общем качестве работы. [1] Этот тип оценивания, который также называют нередукционистским оцениванием, [2] контрастирует с аналитической оценкой, [3] который учитывает больше факторов при присвоении оценки. Комплексное оценивание также можно использовать для оценки работы в классе. Вместо подсчета ошибок статья оценивается целостно и часто сравнивается с опорной статьей, чтобы оценить, соответствует ли она стандартам письма. [4] Он отличается от других методов оценки письменного дискурса двумя основными способами. Он рассматривает композицию как единое целое, не присваивая отдельные значения различным частям письма. При этом используются два или более оценщиков, а окончательная оценка выводится на основе их независимых оценок. Холистическая оценка получила другие названия: «неаналитический», «общее качество», «общая ценность», «общее впечатление», «быстрое впечатление». Хотя ценность и валидность системы являются предметом споров, целостная оценка письменной речи все еще широко применяется.
Определение
[ редактировать ]При целостном оценивании два или более оценщика независимо присваивают один балл образцу письма. В зависимости от оценочной ситуации балл будет варьироваться (например, «78», «проходит», «заслуживает похвалы», «достоин A-уровня», «очень хорошо квалифицирован»), но каждая оценка должна быть единой. Если оценщиков просят рассмотреть или оценить отдельные аспекты письма (например, организацию, стиль, рассуждение, поддержку), их окончательная целостная оценка не выводится математически на основе этого первоначального рассмотрения или этих оценок. Оценщиков сначала калибруют как группу, чтобы двое или более из них могли независимо присвоить окончательную оценку письменному образцу с заранее определенной степенью надежности. Окончательная оценка определяется заранее установленной шкалой значений, и специалисты по подсчету баллов стараются последовательно применять эту шкалу. Окончательная оценка произведения выводится на основе двух или более независимых оценок. Целостную оценку часто противопоставляют аналитической оценке. [5] [6] [7]
Нуждаться
[ редактировать ]![]() | Этот раздел написан как личное размышление, личное эссе или аргументативное эссе , в котором излагаются личные чувства редактора Википедии или представлены оригинальные аргументы по определенной теме. ( Апрель 2022 г. ) |
Сочинение объемных прозаических произведений требовалось от работников многих оплачиваемых сфер жизни: от науки, бизнеса и промышленности до права, религии и политики. [8] Компетентность в написании расширенной прозы также является частью квалификационных или аттестационных тестов для учителей, государственных служащих и офицеров армии. [9] [10] Следовательно, обучение письму является частью формального образования в школе, а в США — в колледже. Как лучше всего оценить эту компетентность в написании расширенной прозы? Отдельные его части можно проверить с помощью «объективных» заданий с кратким ответом: например, правильности орфографии и пунктуации. Такие объекты оцениваются с высокой степенью надежности. Но насколько хорошо вопросы по заданиям оценивают потенциал или достижения в написании связных и содержательных расширенных отрывков? Тестирование кандидатов путем написания им фрагментов расширенного дискурса кажется более действенным методом оценки. Однако этот метод поднимает вопрос о надежности. Насколько надежно можно оценить ценность произведения среди читателей и по всем эпизодам оценки? Учителя и другие судьи доверяют своим знаниям предмета и своему пониманию хорошего и плохого письма, но эта вера в «знатока» [11] уже давно подвергается сомнению. Было показано, что одинаково хорошо осведомленные знатоки дают совершенно разные оценки одним и тем же эссе. [12] [13] [14] [15] Комплексная оценка, учитывающая как надежность, так и обоснованность, является лучшим методом оценки писательской компетентности. Обращая внимание на справедливость, можно также сосредоточиться на последствиях использования оценок. [16]
Модель
[ редактировать ]В то время как аналитическое оценивание предполагает вынесение суждений по каждому критерию, целостное оценивание оценивает работы учащихся как интегрированные сущности. При целостной оценке успеваемость учащегося рассматривается как единое целое и не может быть сведена или разделена на несколько компонентов. [17] Здесь учителя должны учитывать конкретные аспекты ответа ученика, а также качество в целом. [18]
Целостная оценка осуществляется путем отделения удовлетворительной работы от просто адекватной или выдающейся. [2]
Четыре вида подсчета очков
[ редактировать ]Хотя были опробованы самые разнообразные процедуры целостной оценки, четыре формы установили определенные традиции. [19]
Объединенный рейтинг
[ редактировать ]При оценке объединенных оценок обычно используются от трех до пяти независимых читателей для каждого образца письма. Хотя лица, подсчитывающие баллы, работают по общей шкале оценок и могут иметь набор образцов документов, иллюстрирующих эту шкалу («якорные документы» [20] ), обычно они вместе прошли минимум тренировки. Их баллы просто суммируются или усредняются для получения окончательного балла выборки. В Великобритании комплексная оценка с использованием объединенных оценщиков была впервые экспериментально проверена в 1934 году, при этом в каждой выборке принимало участие десять учителей-оценщиков. [21] Впервые это было реализовано на практике с использованием более 11 экзаменационных сценариев в Девоне в 1939 году с использованием четырех учителей на одно эссе. [22] В Соединенных Штатах надежность его оценщика была подтверждена с 1961 по 1966 год Службой образовательного тестирования; [23] и время от времени он использовался в тесте по составлению английского языка Службой образовательного тестирования с 1963 по 1992 год, при этом на каждое эссе привлекалось от трех до пяти оценщиков. [24] Почти синонимом термина «объединенная оценка» является «распределительная оценка». [25]
Информация о характеристиках
[ редактировать ]Подсчет очков с учетом особенностей обучает оценщиков набирать очки согласно руководству по выставлению оценок (также называемому «рубрикой»). [26] или «контрольный список» [27] ) — короткий набор критериев письма, каждый из которых масштабируется в формате сетки до одинакового количества уровней выполнения. Например, руководство по выставлению оценок, использованное в исследовании студенческого письма в Городском университете Нью-Йорка в 1969 году, имело пять критериев (идеи, организация, структура предложения, формулировка и пунктуация/механика/орфография) и три уровня (высший, средний, неприемлемый). [28] Обоснование использования руководств по подсчету баллов утверждает, что они вынуждают специалистов по подсчету очков уделять внимание широкому кругу письменных достижений и не оказывать чрезмерного влияния на одного или двух (« эффект ореола »). Оценка с учетом характеристик близка к аналитическим методам оценки, в которых оценщики оценивают каждую черту независимо от других черт, а затем суммируют баллы для получения окончательной оценки, как в шкале Дидериха. [29] Однако целостная оценка с учетом характеристик остается целостной по своей сути и требует от оценщиков только принять во внимание все характеристики, прежде чем принять решение о единой окончательной оценке.
Скорректированный рейтинг
[ редактировать ]Подсчет скорректированных оценщиков предполагает, что некоторые оценщики более точны в своих оценках, чем другие оценщики. Каждую статью независимо читают два оценщика, и если их оценки в определенной степени расходятся, обычно более чем на один балл по рейтинговой шкале, то статью читает третий, более опытный читатель. Счетчики, которые проводят слишком много третьих чтений, иногда проходят переподготовку во время сеанса подсчета очков, а иногда выпадают из корпуса читателей. [30] [31] Комплексная оценка скорректированной оценки, возможно, впервые была применена Экзаменационной комиссией Колледжа Чикагского университета в 1943 году. [32] Сегодня крупномасштабные коммерческие службы тестирования иногда используют скорректированную оценку эссе, когда одним оценщиком эссе является обученный человек, а другим — компьютер, запрограммированный для автоматической оценки эссе, например, тестирование GRE. [33] [34]
Одиночный рейтинг
[ редактировать ]Мониторинг подсчета баллов по одному оценщику обучает оценщиков как группу и может предоставить им подробную схему выставления оценок. Однако каждый образец письма оценивается только одним оценщиком, если только в результате периодической проверки наблюдателем его оценка не окажется за пределами приемлемого, а затем он будет переоценен, обычно руководителем. Этот метод, называемый «единой оценкой» или «выборкой», уже давно является стандартом при школьных экзаменах в Великобритании, хотя было доказано, что он менее действителен, чем двойная или множественная оценка. [35] [36] В США для секции письма TOEFLiBT [37] Служба образовательного тестирования теперь использует комбинацию автоматического подсчета баллов и сертифицированного человека-оценщика.
История
[ редактировать ]В Великобритании формальная комплексная оценка по объединенной оценке была предложена еще в 1924 году. [38] и официально испытан в 1934–1935 гг. [39] Впервые он был применен в 1939 году главным экзаменатором Р. К. Робертсоном к более чем 11 сценариям в Местном экзаменационном органе Девона, Англия, и продолжался там в течение десяти лет. [40] Хотя другие правоохранительные органы Великобритании опробовали эту систему в 1950-х и 1960-х годах, а ее надежность и достоверность тщательно изучались британскими исследователями, она не прижилась. Множественная оценка школьных сценариев, обычно написанная для демонстрации компетентности в предметных областях, в значительной степени уступила место контролируемому выставлению оценок с одной оценкой и аналитическими схемами выставления оценок. [41] [42]
В США первую комплексную оценку образцов письма провел Пол Б. Дидерих в Колледже Чикагского университета в качестве комплексного экзамена на зачет на первом курсе курса письма. Метод представлял собой скорректированную оценку оценщиков, в которой преподаватели курса выступали в качестве оценщиков, а члены экзаменационной комиссии - в качестве корректировщиков. [43] [44] Примерно в 1956 году экзамены Advanced Placement, Совет колледжей провел в которых была введена целостная система скорректированной оценки для оценки эссе для получения предварительного зачета по английскому языку. Оценщиками были школьные учителя, которые вернули рейтинговую систему в свои школы. [45] Одним из учителей был Альберт Лавин, который установил аналогичную целостную систему оценок в средней школе сэра Фрэнсиса Дрейка в округе Марин, Калифорния, в 1966–1972 годах в 9, 10, 11 и 12 классах, чтобы продемонстрировать прогресс в школьном письме за эти годы. [46] В 1973 году преподаватели Калифорнийского государственного университета и колледжей использовали систему скорректированной оценки Advanced Placement для оценки эссе, написанных поступающими в зачисление студентами, для получения зачетных баллов по английскому языку. [47] Комплексная оценка по объединенным оценкам была протестирована еще в 1950 году Службой образовательного тестирования (с использованием термина «целостный»). [48] Впервые он был применен на тесте по английскому языку Советом колледжей в 1963 году. [49] В сфере высшего образования еще в 1972 году его использовала Программа тестирования Риджентс штата Джорджия, тест на знание языка для младших школьников. [50]
В США экспоненциальный рост холистической оценки произошел примерно с 1975 по 1990 год, частично подпитываемый движением за подотчетность в образовании . В 1980 году оценка школьного письма проводилась как минимум в 24 штатах, причем в подавляющем большинстве случаев письмо оценивалось целостно. [51] В сфере послесреднего образования все больше и больше колледжей и университетов использовали целостную систему оценок для авансового зачета, зачисления на первый год обучения на курсы письма, выхода из курсов письма, а также для получения статуса младшего специалиста и степени бакалавра. Учителя письма также обучали своих учеников комплексному оцениванию, чтобы они могли оценивать письмо друг друга — педагогике, которой обучают в Национальных проектах письма. [52]
Начиная с последних двух десятилетий 20-го века использование целостной оценки несколько снизилось. Становились популярными другие средства оценки писательской компетентности студента, возможно, более действенные, например портфолио . Колледжи все чаще обращались к агентствам по тестированию, таким как ACT и ETS , для оценки образцов письма, и к первому десятилетию 21-го века эти агентства частично выполняли эту задачу путем автоматической оценки эссе . Но целостная оценка эссе, выполненных людьми, по-прежнему применяется в крупномасштабных коммерческих тестах, таких как GED , TOEFL iBT и GRE General Test . Он также используется для размещения или академического прогресса в некоторых высших учебных заведениях, например, в Университете штата Вашингтон . [53] Однако при поступлении и зачислении на курсы письма большинство колледжей теперь полагаются на аналитическую оценку навыков письма в таких тестах, как ACT , SAT , CLEP и International Baccalaureate .
Валидация
[ редактировать ]Целостная оценка часто подтверждается ее результатами. Согласованность оценок оценщиков, или «надежность оценщиков», рассчитывалась по крайней мере с помощью восьми различных формул, среди которых процент согласия, коэффициент корреляции Пирсона r, формула Спирмена-Брауна, альфа Кронбаха и квадратично-взвешенная каппа. [54] [55] Стоимость оценки может быть рассчитана путем измерения среднего времени, затрачиваемого оценщиками на оценку письменного образца, процента образцов, требующих третьего чтения, или расходов на стипендии оценщикам, зарплату руководителей сессий, угощения для оценщиков, машинное копирование, аренду помещения и т. д. и т. д. Иногда, особенно при высокоэффективном использовании, например, при стандартизированном тестировании при поступлении в колледж, предпринимаются попытки оценить параллельную достоверность результатов. Например, в одном из первых исследований теста на развитие общего образования (GED) Американский совет по образованию сравнил экспериментальную целостную оценку за эссе с существующей оценкой с несколькими вариантами ответов и обнаружил, что эти две оценки измеряют несколько разные наборы навыков. [56] Чаще всего прогностическая достоверность измеряется путем сравнения целостного балла школьника с более поздними достижениями на курсах колледжа, обычно средним баллом за первый семестр, оценкой по итогам первого года обучения по письму или мнением учителя о писательских способностях учащегося. Эти корреляции обычно от низкого до умеренного. [57]
Критика
[ редактировать ]Целостная оценка письма почти с самого начала вызвала негативную критику. В 1970-х, 1980-х годах и позже критика росла. [58] [59] [60] [61]
- Расходы. В 1980-х годах, когда оценки на экзаменах часто полностью оценивались людьми, валидная и надежная целостная оценка образца письма требовала больше времени и, следовательно, больше денег, чем оценка заданий. Например, в рамках программы тестирования Риджентс штата Джорджия в 1980–1981 годах за первое эссе стоимость эссе составляла 0,75 доллара, а за второй — 0,53 доллара. [62] Позже, с точки зрения затрат, комплексная оценка работ людьми может даже меньше конкурировать с тестами заданий с машинной оценкой или эссе с машинной оценкой , которые стоят примерно от половины до четверти стоимости оценки человеком. [63]
- Диагностика. Самая распространенная жалоба на целостную оценку — это недостаток диагностической информации, которую она предоставляет. Оценки «проходной экзамен» — или «3» по 4-, 6- или 9-балльной шкале — не дают конкретных указаний для студента, учителя или исследователя. На экзаменах с образовательным барьером комплексная оценка может помочь администраторам определить, какие учащиеся не сдали экзамен, но мало помогает учителям, помогая этим учащимся сдать экзамен со второй попытки. [64] [65] Необходимость расширить диагностическую информацию стала причиной того, что во втором раунде Национальной оценки прогресса в образовании (1973–1974 гг.) Комиссия по образованию штатов дополнила целостную оценку оценкой основных качеств образцов письма. [66] Та же причина побудила Международную систему тестирования по английскому языку , проводимую Британским Советом, и Кембриджскую систему оценки английского языка для носителей и писателей, говорящих на втором языке, принять «профильную оценку» в 1985 году. [67]
- Рубрики . Будучи заранее установленным контрольным списком нескольких качеств письма, каждая из которых одинаково масштабируется на нескольких уровнях успеваемости, эта рубрика подверглась критике, поскольку она упрощена, не учитывает культурных различий и различий в развитии, а также ложна. Когда группу преподавателей композиции колледжа спросили об их «критериях оценки» письма, они назвали не 5 или 6 критериев, а 124. [68] Хотя в рубрике предполагается, что критерии независимы друг от друга, исследования показали, что оценки, которые читатели ставят одному или двум критериям, влияют на оценки, которые они дают другим критериям ( эффект ореола ). [69] Заранее установленные и одинаково ценные критерии также не соответствуют развитию молодых взрослых писателей, развитие которого может быть неравномерным, неуниверсальным и регрессивным. [70] [71] [72] По сути, стандартизированные рубрики предполагают заранее определенный языковой результат, тогда как язык никогда не определен и никогда не свободен от контекста . В рубриках используются «детерминированные формулы для прогнозирования результатов для сложных систем». [73] — критика, направленная на рубрики, используемые для суммирующих оценок в крупномасштабном тестировании, а также для формирующей обратной связи в классе.
- Деконтекстуализация. Традиционная целостная оценка может стереть жизненно важный контекст сочинения, например, влияние на разные писатели, реагирующие в своевременном, импровизированном черновике на разные темы и разные жанры письма. [74] С точки зрения контрастной риторики могут стираться и жизненные культурные различия писателей. Например, когда исследователи Международной ассоциации по оценке образовательных достижений попытались разработать меры для оценки эссе, написанных студентами из Финляндии, Кореи и США, они обнаружили, что «целостная оценка с самого начала была бы обречена из-за различий в сообщества». [75] Холистическая оценка - особенно оценка с учетом характеристик, при которой обучение оценщиков строго контролируется для достижения высокой надежности оценщиков - также может не учитывать экологию оценивающих. Система оценки создает группу читателей, искусственно вытесненных из их естественной реакции чтения в результате навязанного консенсуса. [76] [77] Подобные опасения побудили такие учреждения, как Университет Огайо, Университет Луисвилля и Университет штата Вашингтон, оценить писательскую компетентность студентов с помощью портфолио их эссе, написанных на прошлых занятиях. [78]
- Справедливость. Хотя целостная оценка произведений считается более справедливой для меньшинств и писателей, говорящих на втором языке, чем объективное тестирование, [79] [80] Также были собраны доказательства того, что целостная оценка имеет свои проблемы со справедливостью. Коучинг был менее доступен для кандидатов с низким доходом. [81] У афроамериканских студентов было больше проблем с эссе теста CLAST во Флориде. [82] Запросы на эссе для оценочного теста письма CUNY не были «справедливыми по содержанию и свободными от культуры» и создавали больше проблем для латиноамериканских писателей и писателей, говорящих на других языках. [83] Служба образовательного тестирования уже давно проявляет обеспокоенность по поводу справедливости тестов. [84] [85] хотя в настоящее время исследования несправедливых результатов целостной оценки, вероятно, отстают от интуиции практиков и, вероятно, требуют применения более дискриминантного статистического анализа для документирования этих результатов. [86]
Проекты с использованием целостной оценки
[ редактировать ]Многие учебные заведения используют целостную систему оценок при оценке сочинений учащихся в рамках выпускных требований. [3] Вот некоторые примеры:
- Национальный сертификат об образовании — это новозеландский аттестат об окончании школы, оценка которого основывается на целостной оценке. [87]
- В Соединенных Штатах на экзамене для выпускников (GRE) используется целостная оценка. [88]
Ссылки
[ редактировать ]- ^ Нордквист, Ричард (7 марта 2017 г.). «Что такое целостная оценка?» . МысльКо . Проверено 11 декабря 2018 г.
- ^ Jump up to: а б Бишоп, Алан; Клементс, Массачусетс (Кен); Кейтель-Крейдт, Кристина; Килпатрик, Джереми; Лаборд, Колетт (2012). Международный справочник по математическому образованию . Дордрехт: Springer Science & Business Media. стр. 354–355. ISBN 978-94-010-7155-0 .
- ^ Jump up to: а б «Знайте свои термины: целостные, аналитические и одноточечные рубрики» . Культ педагогики . 01.05.2014 . Проверено 11 декабря 2018 г.
- ^ «Целостный скоринг более подробно» . написание.colostate.edu . Проверено 11 декабря 2018 г.
- ^ Купер, CR (1977). «Целостная оценка письма». В CR Cooper и L. Odell (ред.), Оценка письма: описание, измерение, суждение , 3-31. Урбана, Иллинойс: Национальный совет преподавателей английского языка.
- ^ Майерс, М. (1980). Процедура письменной оценки и комплексного подсчета баллов . Урбана, Иллинойс: Национальный совет преподавателей английского языка.
- ^ Уайт, EM (1986). Преподавание и оценка письма: последние достижения в понимании, оценке и улучшении успеваемости учащихся . Сан-Франциско: Издательство Джосси-Басс.
- ^ Оливери, МЭ, и Маккалла, Л. (2019). Использование базы данных профессиональной сети для оценки и улучшения общения на английском языке на рабочем месте (отчет об исследовании № RR-19-2). Принстон, Нью-Джерси: Служба образовательного тестирования.
- ^ Баллард, ПБ (1923). Новый экзаменатор . Лондон: Издательство Лондонского университета.
- ^ Эллиот, Н. (2005). По шкале: социальная история оценки письма в Америке . Нью-Йорк: Питер Лэнг.
- ^ Вейр, CJ, Видакович, И. и Галаци, ED (2013). Измеряемые конструкции: история Кембриджских экзаменов по английскому языку, 1913–2012 гг. Кембридж, Англия: Издательство Кембриджского университета
- ^ Эджворт, финансовый год (1988). «Статистика экзаменов». Журнал Королевского статистического общества 51 : 599-635.
- ^ Эджворт, ФЮ (1890). «Элемент случайности на конкурсных экзаменах». Журнал Королевского статистического общества 53 : 460–475, 644–663.
- ^ Старч Д. и Эллиотт Э.К. «Надежность оценки работы в средней школе». Обзор школы 20 : 254-259 .
- ^ Томас, CW и др. (1931). Экзамен на английском языке: отчет для вступительной экзаменационной комиссии колледжа . Кембридж, Массачусетс: Издательство Гарвардского университета.
- ^ Сломп Д., Корриган Дж. и Сугимото Т. (2014). «Схема использования косвенных доказательств достоверности при оценке крупномасштабных письменных тестов». Исследования в области преподавания английского языка , 48(3): 276-302.
- ^ Джоуин, Гордон (2008). Оценка, обучение и суждение в высшем образовании . Чам: Springer Science & Business Media. п. 48. ИСБН 978-1-4020-8904-6 .
- ^ Франк, Олоф (2017). Оценка в области этического образования: пример национальных тестов в области религиозного образования . Чам, Швейцария: Springer. п. 72. ИСБН 978-3-319-50768-2 .
- ^ Следующие имена взяты из книги Хасуэлла Р. и Эллиота Н. (2019). Ранняя целостная оценка письма: теория, история, размышления . Логан, Юта: Издательство Университета штата Юта, стр. 24–25.
- ^ Коффман, В. (1971). «О достоверности оценок экзаменов по эссе на английском языке». Исследования в области преподавания английского языка 5 (1): 24-36.
- ^ Хартог, П.Дж., Роудс, ЕС, и Берт, CL (1936). Оценки экзаменаторов: сравнение оценок, присвоенных экзаменационным сценариям независимыми экзаменаторами и экзаменационными комиссиями, вместе с разделом, посвященным голосовому экзамену Viva . Лондон: Макмиллан.
- ^ Уайзман, С. (1949). «Оценка английского состава при выборе гимназии». Британский журнал педагогической психологии 19 (3): 200-209.
- ^ Годшалк, Ф.И., Суайнфорд, Ф., и Коффман, МЫ (1966). Измерение способности писать . Нью-Йорк: Комиссия по вступительным экзаменам в колледж.
- ^ Эллиот (2005, стр. 158-165.
- ^ Уитхаус, К. (2010). «Распределительная оценка» , Исследовательская библиография WPA-CompPile, № 3. Библиографии WPA-CompPile.
- ^ Эли, Э.Г. (1956). «Проверка языковых навыков». Журнал современного языка 40 (6): 310-315.
- ^ Скривен, М. (1974). «Контрольный список для оценки продуктов, производителей и предложений». В WJ Popham (ред.), Оценка в образовании: текущие приложения , 7-33. Беркли, Калифорния: McCutchan Publishing Co.
- ^ Боссоне, РМ (1969). Проблемы письма у студентов, изучающих английский язык в муниципальном колледже Городского университета Нью-Йорка . Нью-Йорк: Отдел исследований и оценки специальных программ CUNY. Служба воспроизведения документов ERIC, ED 028 778
- ^ Дидерих, ПБ (1966). «Как измерить рост навыков письма». Английский журнал 55 (4): 435–449.
- ^ Уайт (1985), стр. 23-26.
- ^ Хасуэлл и Эллиот (2019), стр. 99-109.
- ^ Дидерих, ПБ (1946). «Измерение навыков письма». Обзор школы 54 (10): 584-592.
- ^ Дин П., Уильямс Ф., Венг В. и Трапани CS (2013). «Автоматическая оценка эссе при инновационной оценке письма на основе источников» . Журнал письменной оценки 6 (2013). Проверено 10 января 2022 г.
- ^ Служба образовательного тестирования. Часто задаваемые вопросы о системе оценки e-rater . Проверено 9 января 2021 г.
- ^ Вейр, Видакович и Галаци, с. 201.
- ^ Управление квалификаций и экзаменов. (2014). Обзор исследования двойной маркировки , с. 10. Ковентри: Ofqual.
- ^ «Раздел написания тестов TOEFL iBT» . www.ets.org . Служба образовательного тестирования . Проверено 25 февраля 2022 г.
- ^ Бойд, В. (1924). Измерительные приборы в составе, правописании и арифметике . Лондон: Харран.
- ^ Хартог, П.Дж., Роудс, ЕС, и Берт, CL (1946).
- ^ Уайзман, С.
- ^ Брукс, В. (1980). Повышение надежности оценок эссе: обзор литературы с особым упором на состав английского языка . Сертификат об исследовательском проекте среднего образования 5. Лестер: Университет Лестера.
- ^ Хэмп-Лайонс, Л. (2016). «Прощание с целостным скорингом?» Оценка письма 27 : A1-A2; 29 : А1-А5.
- ^ Дидерих, ПБ (1946). «Измерение навыков письма». Обзор школы 54 (10): 584-592.
- ^ Хасуэлл и Эллиот, стр. 99-109.
- ^ Фюсс, CM (1950). Совет колледжа: первые пятьдесят лет его существования . Нью-Йорк: Издательство Колумбийского университета.
- ^ Хасуэлл и Эллиот, стр. 160-163.
- ^ Уайт, Э., и Английский совет университетов и колледжей штата Калифорния, с Фридрихом Г., Бербанком Р. и Коуэллом В. (1973). Сравнение и контраст: экзамен на эквивалентность английскому языку в Университете штата Калифорния и колледжах 1973 года . Лос-Анджелес, Калифорния: Офис канцлера Калифорнийского государственного университета и колледжей. Служба воспроизведения документов ERIC, ED 114 825 .
- ^ Трус, AF (1952). «Сравнение двух методов оценки английских сочинений». Журнал исследований в области образования 46 (2): 81-93.
- ^ Эллиот (2005), стр. 158-165.
- ^ Ренц, Р.Р. (1984). «Проверка письма письмом». Измерение образования: проблемы и практика 3 (4): 4.
- ^ Маккриди, М., и Мелтон, В.С. (1983). «Проблемы оценки письма в общегосударственной программе» . Письменные заметки Национальной сети тестирования 2 : 18, 22. Получено 9 января 2022 г.
- ^ Национальный писательский проект. (2017). Национальный проект письма предлагает высококачественные услуги по оценке письма . Проверено 9 января 2022 г.
- ^ «Университетское писательское портфолио» . написание программы.wsu.edu . Университет штата Вашингтон . Проверено 25 февраля 2022 г.
- ^ Черри, Р.Д. и Мейер, PR (1993). «Проблемы надежности в комплексной оценке». В М. М. Уильямсоне и Б. А. Хуоте, Проверка целостной оценки письменной оценки: теоретические и эмпирические основы , стр. 109-141. Кресскилл, Нью-Джерси: Hampton Press.
- ^ Уильямсон, Д.М., Си, X и Брейер, Ф.Дж. (2012) «Схема оценки и использования автоматизированной оценки». Измерение образования: проблемы и практика 31 (1): 2-13.
- ^ Шварц Р., Пейшенс В.М. и Уитни Д.Р. (1985). Добавление эссе к тесту на навыки письма GED: проблемы надежности и достоверности . Исследования Службы тестирования GED № 7. Служба тестирования общего образования: Вашингтон, округ Колумбия, дата обращения 10 января 2022 г.
- ^ Хейс, младший, Хэтч, Дж. А. и Силк, CM (2000). «Предсказывает ли целостная оценка письменную успеваемость? Оценка стабильности успеваемости учащихся по письменным заданиям с комплексной оценкой». Письменное сообщение 17 (1): 3-26. [1] Уайзман (1949), с. 206.
- ^ Меллон, JC (1972). «Обзор [отчетов о национальной оценке прогресса в образовании 3 и 5]. Исследования в области преподавания английского языка 6 (1): 86-105.
- ^ Грей, Дж. Р., и Рут, Л. Р. (ред.) Свойства письменных заданий: исследование альтернативных процедур целостной оценки . Итоговый отчет Национального института образования, NIE-G-80-0034. Беркли, Калифорния: Калифорнийский университет, Беркли. Служба воспроизведения документов ERIC, ED 230 576 . Проверено 12 января 2022 г.
- ^ Чарни, Д. (1984). «Действительность использования целостного подсчета баллов для оценки письма: критический обзор». Исследования в области преподавания английского языка 18 (1): 65-83.
- ^ Первс, AC (1984). «В поисках международно-действующей схемы оценки композиций». Состав колледжа и коммуникации 35 (4): 426-438.
- ^ Хадсон, Ю.А., и Вил, Л.Р. (1981). Эмпирическое исследование прямых и косвенных показателей письма: отчет проекта оценки письменного образования в Джорджии за 1980–1981 годы. Служба воспроизведения документов ERIC, ED 205 993.
- ^ Тополь Б., Олсон Дж. и Робер Э. (2014). «Ценообразование: машинная оценка студенческих эссе» . Становимся умнее . Проверено 20 января 2022 г.
- ^ Барон, JB (1984). «Оценка письма в Коннектикуте: целостный взгляд на идентификацию и аналитический взгляд на обучение». Измерение образования: проблемы и практика 3 (1): 27-28, 38.
- ^ Эллиот, Н., Плата, М. и Зелхарт, П.Ф. (1990). Руководство по разработке программ комплексной оценки письма. Лэнхэм, доктор медицины: Университетское издательство Америки.
- ^ Муллис, IVS (1967). Система основных признаков для оценки письменных заданий . Комиссия по образованию штатов: Денвер, Колорадо. Служба воспроизведения документов ERIC, ED 202 761. Проверено 12 января 2022 г.
- ^ Хэмп-Лайонс, Л. (1987). «От целостного оценивания к профильному оцениванию конкретных академических работ» . Заметки Национальной сети тестирования 7 (7). Проверено 12 января 2022 г.
- ^ Броуд, Б. (2003). Что мы действительно ценим: помимо рубрик в преподавании и оценке письма . Логан, Юта: Издательство Университета штата Юта.
- ^ Фридман, SW (1979). «Как характеристики студенческих эссе влияют на оценки учителей». Журнал педагогической психологии 73 (3): 328-338.
- ^ Фельдман, Д.Х. (1980). За пределами универсалий в когнитивном развитии . Норвуд, Нью-Джерси: Алекс.
- ^ Бевер, Т.Г. (ред.) (1982). Регрессия в психическом развитии: основные явления и теории . Хиллсдейл, Нью-Джерси: Эрлбаум.
- ^ Кноблаух, Ч. Х., и Браннон, Л. (1984). Риторические традиции и обучение письму . Аппер-Монклер, Нью-Джерси: Бойнтон/Кук.
- ^ Уилсон, М. (2018), Переосмысление письменной оценки: от шкал к историям , стр. хх. Портсмут, Нью-Хэмпшир: Хайнеманн.
- ^ Грей и Рут (1982).
- ^ Весдорп, Х., Бауэр, Б.А., и Первс, AC (1982). «К концептуализации оценки письменного сочинения». Оценка в образовании 5 (3): 299-315.
- ^ Гир, Арканзас (1980). «Письменное сочинение: к теории оценки». Студенческий английский 42 (1): 44-58.
- ^ Раймонд, JC (1982). «Чего мы не знаем об оценке письма». Состав колледжа и коммуникации 33 (4): 399-403.
- ^ Беланофф П. и Диксон М., ред. (1991). Портфели: процесс и продукт . Портсмут, Нью-Хэмпшир: Издательство Boyton/Cook.
- ^ Уайт, Э.М., и Томас, Л.Л. (1981). «Расовые меньшинства и оценка навыков письма в Калифорнийском государственном университете и колледжах». Колледж английского языка 43 (3): стр. 276–283.
- ^ Шефер Р. и Рэнкин Д. (1985), «Модели сертификации учителей в масштабе штата» . Примечания Национальной сети тестирования в письменной форме 5: 5-6. Проверено 12 января 2022 г.
- ^ Фэллоуз, Дж. (1980). Тест и «самые умные»: насколько справедливы советы колледжей? Атлантик 245 (2): 37–48.
- ^ Рубин, SJ (1982). «Проект академических навыков на уровне колледжа Флориды: тестирование коммуникативных навыков по всему штату» . Письменные заметки Национальной сети тестирования 1 (5): 18. . Проверено 12 января 2022 г.
- ^ Руис А. и Диас Д. (1983). «Оценка письма и студенты ESL» . Письменные заметки Национальной сети тестирования 3 : 5. Получено 12 января 2022 г.
- ^ Бреланд, Х., и Айронсон, Г.Х. (1976). «Переосмысление ДеФуниса: сравнительный анализ альтернативных стратегий приема». Журнал образовательных измерений 13 (1): 89-99.
- ^ Бреланд, HM (1977). Групповые сравнения для теста стандартного письменного английского языка . Служба воспроизведения документов ERIC ED 146 228 . Проверено 12 января 2022 г.
- ^ По, М., и Эллиот, Н. (2019). «Доказательства справедливости: двадцать пять лет исследований в области оценки письма » . Оценка письма 42 : 100418. Проверено 10 января 2022 г.
- ^ «Внешняя оценка NCEA: выставление оценок» . www.nzqa.govt.nz. Проверено 11 декабря 2018 г.
- ^ «Как оценивается общий тест GRE (для тестируемых)» . www.ets.org . Проверено 11 декабря 2018 г.