Тест Клоза
Тест на закрытие (также тест на удаление замыкания или тест на окклюзию ) — это упражнение, тест или оценка, в котором часть текста маскируется , и участника просят заполнить замаскированную часть текста. Тесты Клоза требуют способности понимать контекст и словарный запас , чтобы определить правильный язык или часть речи, которая принадлежит удаленным отрывкам. Это упражнение обычно проводится для оценки изучения и преподавания родного и второго языка .
Слово «замыкание» происходит от слова «замыкание» в теории гештальта . Это упражнение было впервые описано Уилсоном Л. Тейлором в 1953 году. [1]
Слова могут быть удалены из рассматриваемого текста как механически (каждое n-е слово), так и выборочно, в зависимости от того, какой именно аспект предполагается проверить. Методологии посвящена обширная академическая литература; [2] тем не менее, учителя обычно разрабатывают специальные тесты.
Примеры [ править ]
Учитель языка может дать ученикам следующий отрывок:
Сегодня я пошел в ___________ и купил немного молока и яиц. Я знал, что будет дождь, но забыл взять ________ и в итоге промок по дороге.
Затем учащимся необходимо было заполнить пропуски словами, которые лучше всего дополнят отрывок. Языковой и содержательный контекст важен в большинстве, если не во всех, тестах на закрытие. Перед первым пробелом ставится «the»; следовательно, за ним должно следовать существительное , прилагательное или наречие . Однако союз за пробелом следует ; предложение не было бы грамматически правильным, если бы в пропуске было что-то кроме существительного. Слова «молоко и яйца» важны для принятия решения о том, какое существительное поставить в пробел; «супермаркет» — возможный ответ; однако, в зависимости от ученика, первая заготовка может быть магазином , супермаркетом , магазином , магазинами , рынком или бакалейной лавкой, а зонтик , зонтик или плащ может соответствовать второй. Возможный завершенный отрывок будет таким:
Сегодня я пошел в супермаркет и купил немного молока и яиц. Я знал, что будет дождь, но забыл взять зонтик и промок по дороге.
Помимо проверки беглости речи, тест Клоуз также можно использовать для проверки фактических знаний, например:
________ – анаэробный катаболизм глюкозы.
Возможные ответы тогда включают молочнокислое брожение , анаэробный гликолиз и анаэробное дыхание .
Оценка [ править ]
Определение успеха в конкретном тесте на закрытие варьируется в зависимости от более широких целей, стоящих за упражнением. Оценка может зависеть от того, является ли упражнение объективным (т. е. учащимся предоставляется список слов, которые они должны использовать в блоке) или субъективным (т. е. учащиеся должны заполнить блок словами, которые сделают данное предложение грамматически правильным).
Я видел, как мужчина положил свою куртку в лужу перед женщиной, переходившей улицу. Я подумал, что это было очень ______.
Учитывая приведенный выше отрывок, ответы учащихся могут варьироваться в зависимости от их словарного запаса и их личного мнения. Однако размещение пробела в конце предложения ограничивает количество слов, которые могут завершить предложение; после наречия и в конце предложения слово, скорее всего, является прилагательным. Романтический, рыцарский или галантный может, например, занимать пробел, а также глупый или глупый . Используя эти ответы, учитель может попросить учащихся поразмышлять над мнениями, вытекающими из данного вопроса.
Недавнее исследование с использованием отслеживания глаз показало, что задания на закрытие/заполнение пробелов, в которых в качестве вариантов дается набор слов, могут проверять различные виды навыков чтения в зависимости от языковых способностей участников, проходящих тест. [3] Предполагается, что тестируемые с более низкими способностями с большей вероятностью концентрируются на информации, содержащейся в словах, непосредственно окружающих пробел, в то время как считается, что тестируемые с более высокими способностями могут использовать более широкое контекстное окно , что также верно для более способных больших людей. языковые модели , такие как ChatGPT , в отличие от менее функциональных старых моделей.
Ряд методологических проблем, отмеченных исследователями в отношении замкнутого задания открытого типа (читатели должны подобрать правильное слово из долговременной памяти, как подсчитать приемлемые ответы, не являющиеся точной заменой и т. д.), могут быть решены с помощью использование тщательно разработанных предметов с возможностью выбора из нескольких вариантов. См. образец тестового и практического задания из пилотного исследования, проведенного в сельской местности Латинской Америки. [4] Мостоу и его коллеги также показали, насколько этот подход практичен и информативен. [5]
Реализация [ править ]
Помимо использования в тестировании, удаление Cloze можно использовать при обучении, особенно при изучении языка , а также при изучении фактов. Это можно сделать вручную — например, закрыв разделы текста бумагой или выделив разделы текста маркером, а затем закрыв строку цветной линейкой дополнительного цвета (скажем, красной линейкой для зеленого маркера). поэтому выделенный текст исчезает; это популярно, например, в Японии [ нужна ссылка ] . Удаление Cloze также можно использовать как часть программного обеспечения для интервального повторения . Например, приложения SuperMemo и Anki поддерживают полуавтоматическое создание тестов закрытия.
Программирование программного обеспечения, позволяющее принимать все синонимы слова как действительные правильные ответы на тест на закрытие, является сложной задачей, поскольку необходимо учитывать все потенциальные синонимы. Важной концепцией, которая применяется при автоматическом создании тестов закрытия с помощью программного обеспечения, является возможность закрытия слов. [6] Замыкаемость слова определяется следующим образом: «Как часто участники, знающие это слово, угадывают его правильно, когда оно заключено в предложении, которого они раньше не видели?»
Слова с большим количеством синонимов будут иметь низкий показатель замыкаемости слова, поскольку вероятность того, что данное слово будет угадано правильно, снижается. Слова, которые являются конкретными и имеют небольшое количество синонимов, будут иметь высокий показатель закрываемости.
Удаление замыкания также можно применить к графическому органайзеру , в котором представлена диаграмма, карта, сетка или изображение, и для заполнения некоторых меток необходимо использовать контекстные подсказки. [7] В частности, при изучении предмета, требующего большого количества изображений, такого как анатомия, пользователь Anki может использовать окклюзию изображения для закрытия частей изображения. [8]
с другими тестирования Сравнение методологиями
Glover, 1989 сравнил различные формы припоминания и их эффективность по прошествии времени, когда произошло забывание. Гловер называл тесты на закрытие запоминанием с помощью подсказок, которые оказались менее эффективными, чем свободное тестирование на запоминание (ученику давался общий сигнал, от ученика ожидалось, что он вспомнит все, что он знал), но более эффективным, чем тесты на узнавание. [9]
Обработка естественного языка [ править ]
Тест Клоза часто используется в качестве оценочной задачи в обработке естественного языка (НЛП) для оценки производительности обученных языковых моделей . [10] Задачи имеют несколько разных вариантов, например, предсказание ответа на пробел с помощью [11] и без [12] предоставление правильных вариантов, предсказание конечного предложения рассказа или отрывка, [13] и т. д. Начиная с BERT, он также используется в языковых моделях перед обучением, и в этом случае он известен как моделирование языка в маске.
См. также [ править ]
- Коммуникативная компетентность
- Изучение и преподавание английского языка
- Бланк письма
- Безумные либералы
- Тесты на завершение предложений
Ссылки [ править ]
- ^ Тейлор, WL (1953). «Процедура закрытия: новый инструмент для измерения читаемости». Журналистика ежеквартально . 30 (4): 415–433. дои : 10.1177/107769905303000401 . S2CID 206666846 .
- ^ Сакс, Дж.; Тунг, П.; Лам, Р. (1997). «Как построить тест Клоза: уроки тестирования моделей теории измерения». Перспективы . 9 . Городской университет Гонконга.
- ^ Маккрей, Гарет; Брунфо, Тинеке (ноябрь 2016 г.). «Исследование конструкции, измеряемой с помощью элементов, заполняющих пробелы: данные отслеживания глаз» . Языковое тестирование . 35 : 51–73. дои : 10.1177/0265532216677105 .
- ^ Ширак, С.М.; Фрэнсис Н. и МакКлюр Дж. (2019). « Осознание формы и закономерностей при оценке грамотности : классные приложения для первого и второго языка». Матрица чтения , 19 (1), 20–34.
- ^ Мостоу, Дж.; Хуанг, Ю.-Т.; Джанг, Х.-Дж.; Вайнштейн, А.; Валери Дж. и Гейтс Д. (2017). Разработка, оценка и совершенствование автоматического генератора диагностических вопросов с несколькими вариантами ответов для оценки понимания детьми во время чтения. Инженерия естественного языка, 23, 245–294.
- ^ «Замыкаемость слов — китайская мозаика» . mandarinmosaic.com . Проверено 18 июня 2024 г.
- ^ Робинсон, Мэн (1 января 1974 г.). «Процедура закрытия и тесты на пространственное понимание». Область . 6 (2): 137–142. JSTOR 20000851 .
- ^ «Улучшенная окклюзия изображения для Anki 2.1 (альфа) — AnkiWeb» . ankiweb.net . Проверено 7 июля 2020 г.
- ^ Гловер, Джон. «Феномен «тестирования»: не исчез, но почти забыт» (PDF) . Журнал педагогической психологии : 5, 6.
- ^ «Ответы на вопросы в НЛП» .
- ^ «Языковые модели как базы знаний?» (PDF) . Эмпирические методы обработки естественного языка .
- ^ Льюис, Патрик; Денуайе, Людовик; Ридель, Себастьян (август 2019 г.). «Ответы на вопросы без присмотра с помощью Cloze Translation» (PDF) . Исследования Facebook : 4896–4910. arXiv : 1906.04980 . дои : 10.18653/v1/P19-1484 . S2CID 186206974 .
- ^ «Тест на закрытие историй и ROCStories Corpora» .
Дополнительная информация [ править ]
- Ханзели, Виктор Э. (май 1977 г.). «Эффективность тестов Клоза в измерении компетентности студентов по французскому языку в академической среде». Французский обзор . 50 (6): 865–874. JSTOR 389444 .
- Маккрей, Гарет; Брунфо, Тинеке (ноябрь 2016 г.). «Исследование конструкции, измеряемой с помощью элементов, заполняющих пробелы: данные отслеживания глаз» . Языковое тестирование . 35 : 51–73. дои : 10.1177/0265532216677105 .