Коллегиальная оценка

Взаимная оценка , или самооценка учителя , — это процесс, при котором учащиеся или их сверстники оценивают задания или тесты на основе оценок . Эта практика используется для экономии времени учителей и улучшения понимания студентами материалов курса, а также для улучшения их метакогнитивных навыков. Рубрики часто используются в сочетании с самооценкой и взаимной оценкой.

Преимущества

Экономит время учителей

Выставление оценок учащимся может сэкономить время учителя потому что весь класс может быть оценен вместе за то время, которое потребовалось бы учителю для оценки одной работы. Более того, вместо того, чтобы заставлять учителя торопливо просматривать каждую работу, учащиеся могут потратить время на их исправление. Учащиеся могут потратить больше времени на работу над работой, поскольку им нужно поставить только одну оценку и, следовательно, они могут выполнить работу более тщательно.

Более быстрая обратная связь

Если учащиеся оценивают работы в классе или устные презентации своих сверстников, это сокращает время, необходимое учащимся для получения обратной связи. Вместо того, чтобы ждать отзывов о своей работе, самооценка и коллегиальная оценка позволяют выставлять оценки вскоре после завершения. Студентам не придется ждать, пока они перейдут к новому материалу и информация уже не будет свежей в их памяти.

Также было показано, что более быстрое получение обратной связи увеличивает вероятность ее принятия получателем обратной связи. Контролируемый эксперимент, проведенный в рамках массового открытого онлайн-курса (МООК), показал, что итоговые оценки учащихся улучшаются, когда обратная связь предоставляется быстро, но не в случае задержки на 24 часа.

Педагогический

Роль учителя в оценке заставляет учащихся больше концентрироваться на оценках, а не на поиске обратной связи. Студенты могут учиться, оценивая работы или оценивая устные выступления других. Часто учителя не повторяют ответы на тесты и не дают ученикам возможность узнать, что они сделали неправильно. Самооценка и оценка коллег позволяют учителям помочь ученикам понять допущенные ими ошибки. Это улучшит последующую работу и даст учащимся время усвоить информацию и может привести к лучшему пониманию. Исследование Сэдлера и Гуда показало, что учащиеся, которые самостоятельно оценивали свои тесты, лучше справлялись с последующими тестами. Учащиеся могли видеть, что они сделали неправильно, и исправлять такие ошибки в последующих заданиях. После взаимной оценки учащиеся не обязательно добивались более высоких результатов.

Обратная связь со сверстниками также может повысить осведомленность аудитории учащихся, способствовать совместному обучению и развить чувство принадлежности к тексту. Текстовый анализ опроса, проведенный Фань, Юмей и Цзиньфэнь Сюй, показал, что эти студенты предоставили своим сверстникам оценочную обратную связь, ориентированную на содержание и форму, в то время как их сверстники давали отзывы о рукописях или устных выступлениях в классе.

Эксперименты Терпина и Кристен М. показали, что обратная связь со сверстниками очень важна для участия учащихся в процессе обучения. Во-вторых, качество обратной связи также имеет решающее значение. Систематически обучаемая обратная связь позволяет коллегам предоставлять высококачественную и действенную обратную связь.

Метакогнитивный

Благодаря самооценке и взаимной оценке учащиеся могут увидеть ошибки в своем мышлении и исправить любые проблемы в будущих заданиях. Оценивая задания, учащиеся могут научиться выполнять задания более точно и улучшить результаты тестов.

Профессора Лин-Аглер, Мур и Забруки провели эксперимент, в ходе которого они обнаружили, что «студенты могут использовать свой предыдущий опыт подготовки и прохождения теста, чтобы помочь им построить связь между распределением учебного времени». Студенты могут не только улучшить свои способности к подготовке к тесту после участия в самооценке и взаимной оценке, но также улучшить свою способность оценивать других посредством улучшения метакогнитивного мышления.

Однако в ходе экспериментов Кристенсена, Вибеке и Питера Хобеля они обнаружили, что содержание, которое оценивали студенты, целиком касалось содержания, структуры и формы. Обратная связь по самим предложениям практически отсутствует.

Отношение

Если будут реализованы самооценка и взаимное оценивание, учащиеся смогут воспринимать тесты не как наказание, а как полезную обратную связь. Хэл Малехорн говорит, что, используя оценку со стороны коллег, одноклассники могут работать вместе ради «общего интеллектуального благополучия» и что это может создать «атмосферу сотрудничества» для учащихся вместо той, в которой ученики соревнуются за оценки. Кроме того, когда студенты оценивают работы своих сокурсников, они также размышляют и о своих собственных работах. Этот рефлексивный процесс стимулирует действия по улучшению.

Однако в деле Верховного суда «Независимый школьный округ Овассо против Фалво» школе был предъявлен иск после того, как человек стал жертвой после того, как другие ученики узнали, что он получил низкую оценку на экзаменах. Мэлхорн пытается показать, как идеализированная версия взаимного оценивания может повлиять на отношение к классу. На практике могут возникнуть ситуации, когда студенты становятся жертвами, как это видно из дела Верховного суда.

В ходе экспериментального исследования, проведенного Яллопом, Роджером, Пийей Таремаа и Джуддой Лейженом, они обнаружили, что процесс обратной связи может вызывать сильные негативные эмоции у рецензентов (например, разочарование) и получателей обратной связи (например, тревога). Поэтому процесс обратной связи имеет большое значение. Это влияние может формировать отношение. Позитивный настрой способствует более активному участию в процессе обратной связи.

Дефекты

Исследования Гарнера, Джо и Оливера Хадингема выявили серьезные недостатки. Студенты очень серьезно относятся к этой группе и редко оставляют негативные комментарии. И нет никакой конструктивной критики написанного другими людьми. В исследовании для решения этой проблемы использовалось анонимное оценивание, позволяющее студентам оценивать других без давления, но при этом они теряли способность взаимодействовать.

Соглашение об оценке учителя

Одна из проблем, связанных с самооценкой и взаимной оценкой, заключается в том, что учащиеся могут ставить более высокие оценки, чем учителя. Учителя хотят сократить время выставления оценок, но не за счет потери точности.

Поддерживать

Исследование Сэдлера и Гуда показало, что существует высокий уровень согласия между оценками, выставленными учителями и учениками, если ученики способны понять требования учителя к качеству. Они также сообщают, что оценка учителей может быть более точной в результате использования самооценки и взаимной оценки. Если учителя смотрят на то, как учащиеся оценивают себя, они получают больше информации, на основе которой могут выставить более точную оценку.

Оппозиция

Однако Сэддлер и Гуд предупреждают, что существуют некоторые разногласия. Они предлагают учителям внедрить системы контроля оценок учащихся, чтобы выявить неудовлетворительные работы. Другое исследование показало, что повышение оценок действительно имело место, поскольку ученики, как правило, ставили себе более высокие оценки, чем мог бы поставить учитель. Это предполагает, что самооценка и оценка коллег не являются точным методом выставления оценок из-за расхождений в результатах.

Сравнение

Согласно исследованию Сэддлера и Гуда, учащиеся, оценивающие одноклассников, имеют тенденцию занижать оценки, а учащиеся, оценивающие себя самостоятельно, имеют тенденцию завышать оценки. Тем не менее, подавляющее большинство учеников получают оценку в пределах 5% от оценки учителя. Относительно немногие самооценщики занижают оценки, и относительно немногие одноклассники склонны завышать оценки.

Возможно, одну из самых известных моделей взаимной оценки можно найти в дизайн-студиях. Одно из преимуществ таких студий заключается в структурированных контрастах, которые могут помочь новичкам заметить различия, которые в противном случае были бы доступны только экспертам. На самом деле, дизайнеры используют сравнения для вдохновения. Некоторые исследователи разработали системы, поддерживающие сравнительные примеры, чтобы выявить полезные сравнения в образовательных учреждениях. Однако остается неясным, что делает сравнение хорошим; Общее руководство по хорошей обратной связи Сэдлера описывает три характеристики: конкретность, действенность и обоснованность. и широко применяется в исследованиях обратной связи. Однако, поскольку каждая часть работы, которую предстоит оценить, так сильно различается по содержанию, путь к достижению этих качеств в конкретном исполнении с обратной связью остается в значительной степени неизвестным. Эффективная обратная связь не только написана действенно, конкретно и обоснованно, но, что более важно, содержит хорошее содержание; хорош в том смысле, что он указывает на важные вещи, привносит новые идеи и меняет мнение получателей, заставляя их рассмотреть проблему под другим углом или полностью представить ее заново. Это требует настройки под конкретный контент.

Рубрики

Цель

Учащимся необходимо следовать рекомендациям, прежде чем они смогут оценивать больше открытых вопросов. Они часто представлены в виде рубрик , в которых излагаются различные цели и ценность каждой из них при оценке. Рубрики часто используются для написания заданий.

Примеры целей

• Выражение идей
• Организация контента
• Оригинальность
• Знание предмета
• Содержание
• Согласование учебной программы
• Баланс
• Голос

Групповая работа

Одной из областей применения самооценки и взаимной оценки являются групповые проекты . Учителя могут выставлять проектам итоговую оценку, но им также необходимо определить, какой оценки заслуживает каждый человек в группе. Учащиеся могут ставить оценки своим однокурсникам, и на основе этих оценок могут быть выставлены индивидуальные оценки. Тем не менее, у этого метода оценки есть проблемы. Если учащиеся ставят друг другу несправедливые оценки, общие оценки искажаются в разные стороны.

Чрезмерная щедрость

Некоторые ученики могут поставить всем остальным ученикам очень высокие оценки, из-за чего их баллы будут ниже, чем у остальных. Эту проблему можно решить, заставив учащихся выставлять оценки самим, и, таким образом, их щедрость распространится и на них самих и повысит их оценки на такую ​​же величину. Однако это не компенсирует студентов, которые считают, что они работали не лучшим образом, и слишком жестко оценивают себя.

Креативный учет

Некоторые студенты ставят всем низкие оценки, а себе — очень высокие, чтобы исказить данные. Этому можно противостоять, проверяя оценки учащихся и убеждаясь, что они соответствуют тому, где в группе их оценили их сверстники.

Индивидуальное наказание

Если все ученики выступят против одного ученика, потому что считают, что этот человек мало поработал, то они получат исключительно низкую оценку. Это допустимо, если рассматриваемый студент действительно проделал очень мало работы, но может потребоваться вмешательство преподавателя, прежде чем это станет конечным результатом.

Участие в классе

Хотя оценить участие учащихся в классе сложно из-за его субъективного характера, одним из методов оценки участия является использование самооценки и взаимной оценки. Профессора Райан, Маршалл, Портер и Цзя провели эксперимент, чтобы проверить, эффективно ли использование студентов для оценки участия. Они обнаружили, что существует разница между оценкой участия учителем и учеником. Тем не менее, это не имело академического значения, что указывало на то, что на итоговые оценки учащихся не влияла разница в оценках учителя и ученика. Они пришли к выводу, что самооценка и коллегиальная оценка являются эффективным способом оценки участия в классе.

В масштабе

Механизм коллегиальной оценки также является золотым стандартом во многих творческих задачах: от проверки качества научных статей или заявок на гранты до дизайн-студий. Однако по мере увеличения количества оценок, которые необходимо провести, возникают проблемы. Во-первых, поскольку никто, проводящий оценку, не имеет глобального понимания всего пула материалов, могут возникнуть локальные предвзятости в суждениях (например, на диапазон шкалы, используемой для оценки, может влиять пул материалов, которые рассматривает эксперт) и шумы. в рейтинг могут быть добавлены агрегированные результаты индивидуальной коллегиальной оценки. С другой стороны, поскольку ранжированные результаты представляют наибольший интерес во многих ситуациях (например, при выделении исследовательских грантов для предложений или присвоении буквенных оценок студентам), способы систематического агрегирования оценок коллег для восстановления ранжированного порядка заявок имеют множество практических последствий. .

Чтобы решить эту проблему, некоторые исследователи изучили (1) схемы оценки (например, порядковую оценку, (2) алгоритмы агрегирования парных оценок для более надежной оценки глобального рейтинга представленных материалов, и (3) создать более оптимальные пары для обмена отзывами либо путем рассмотрения конфликтов интересов или (4) путем моделирования структуры, которая уменьшает ошибку между суждениями на индивидуальном и общественном уровне о ценности научной статьи.

Законность

Законность самооценки и взаимной оценки была оспорена в Верховного суда США деле « Независимый школьный округ Овассо против Фалво» . Кристья Фальво подала в суд на школьный округ, в котором учился ее сын, потому что там применялось взаимное оценивание, а его дразнили из-за низкой оценки. Право учителя на использование самооценки и взаимной оценки было поддержано судом.

Ссылки

• Андраде, Хайди и Ин Ду «Ответы учащихся на самооценку на основе критериев». Оценка и оценка в высшем образовании 32.2 (2007): 159–181.
• Гопинатх, К. «Альтернативы оценке инструктором участия в классе». Журнал образования для бизнеса 75.1 (1999): 10.
• Ли, Лоуренс К.Ю. «Некоторые уточнения по коллегиальной оценке групповых проектов». Оценка и оценка в высшем образовании 26.1 (2001): 5–18.
• Лин-Аглер, Линь Мяо, ДеУэйн Мур и Карен М. Забруки «ВЛИЯНИЕ ЛИЧНОСТИ НА МЕТАКОГНИТИВНУЮ САМООЦЕНКУ». Журнал студентов колледжа 38.3 (2004): 453–461.
• Малехорн, Хэл «Десять мер лучше, чем оценка». Информационная палата 67.6 (1994): 323.
• Мок, Магдалена Мо Чинг и др. «Самооценка в высшем образовании: опыт использования метакогнитивного подхода в пяти тематических исследованиях». Оценка и оценка в высшем образовании 31.4 (2006): 415–433.
• Нгар-Фун, Лю и Дэвид Карлесс «Обратная связь между коллегами: обучающий элемент взаимной оценки». Преподавание в высшем образовании 11.3 (2006): 279–290.
• Райан, Джина Дж. и др. «Коллега, профессор и самооценка участия в классе». Активное обучение в высшем образовании 8.1 (2007): 49–61.
• Сэдлер, Филип М. и Эдди Гуд «Влияние самооценки и взаимной оценки на обучение учащихся». Оценка образования 11.1 (2006): 1–31.
• Сирби, Майк и Тим Эверс «Оценка использования взаимной оценки в высшем образовании: пример музыкальной школы» Assessment & Evaluation in Higher Education 22.4 (1997): 371.
• Стронг, Брент, Марк Дэвис и Вэл Хоукс «САМООЦЕНКА В БОЛЬШИХ ОБЩЕОБРАЗОВАТЕЛЬНЫХ КЛАССАХ». Преподавание в колледже 52.2 (2004): 52–57.
• ван ден Берг, Инеке, Вильфрид Адмирал и Альберт Пилот «Взаимная оценка в университетском преподавании: оценка семи проектов курсов». Оценка и оценка в высшем образовании 31.1 (2006): 19–36.
• Раман, Картик и Торстен Иоахимс. «Методы порядкового оценивания сверстников». Материалы 20-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных. АКМ, 2014.
• Чен, Си и др. «Агрегация парного ранжирования в условиях краудсорсинга». Материалы шестой международной конференции ACM по веб-поиску и интеллектуальному анализу данных. АКМ, 2013.
• Коттури, Ясмин и др. «Поднимаясь над конфликтами интересов: алгоритмы и интерфейсы для беспристрастной оценки коллег». 2013.
• Нутигатту, Ритеш, Нихар Б. Шах и Ариэль Д. Прокачча. «Выбор того, как выбирать бумаги». Препринт arXiv arXiv:1808.09057 (2018).
• Кулкарни, Чинмей Э., Майкл С. Бернштейн и Скотт Р. Клеммер. «PeerStudio: быстрая обратная связь от коллег подчеркивает необходимость пересмотра и повышает производительность». Материалы второй (2015 г.) конференции ACM по масштабу обучения. АКМ, 2015.
• Дэннелс, Дина П. и Келли Норрис Мартин. «Критика критики: жанровый анализ отзывов от новичков до опытных студий дизайна». Журнал деловых и технических коммуникаций 22.2 (2008): 135–159.
• Шварц, Дэниел Л., Джессика М. Цанг и Кристен П. Блэр. Азбука того, как мы учимся: 26 научно доказанных подходов, как они работают и когда их использовать. WW Нортон и компания, 2016.
• Херринг, Скарлетт Р. и др. «Вдохновляясь!: понимание того, как и почему примеры используются в творческой дизайнерской практике». Материалы конференции SIGCHI по человеческому фактору в вычислительных системах. АКМ, 2009.
• Ньюман, Марк В. и Джеймс А. Лэндей. «Карты сайта, раскадровки и спецификации: очерк практики дизайна веб-сайтов». Материалы 3-й конференции «Проектирование интерактивных систем: процессы, практики, методы и приемы». АКМ, 2000.
• Камбре, Джулия, Скотт Клеммер и Чинмей Кулкарни. «Juxtapeer: Сравнительная экспертная оценка дает более качественную обратную связь и способствует более глубокому размышлению». Материалы конференции CHI 2018 года по человеческому фактору в вычислительных системах. АКМ, 2018.
• Кан, Хёнсу Б. и др. «Paragon: онлайн-галерея для улучшения обратной связи по дизайну с помощью наглядных примеров». Материалы конференции CHI 2018 года по человеческому фактору в вычислительных системах. АКМ, 2018.
• Поттер, Тиффани и др. «ComPAIR: новый онлайн-инструмент, использующий адаптивное сравнительное суждение для поддержки обучения с обратной связью от коллег». Исследование преподавания и обучения 5.2 (2017): 89-113.
• Сэдлер, Д. Ройс. «Формирующее оценивание и проектирование учебных систем». Учебная наука 18.2 (1989): 119-144.
• Гольдшмидт, Габриэла, Хагай Хохман и Итай Дафни. «Дизайн-студия «крит»: общение преподавателя и ученика». АИ ЭДАМ 24.3 (2010): 285-302.

Дальнейшее чтение

• Карлесс, Дэвид, «Отличник в университетской оценке: обучение на отмеченной наградами практике» , Лондон: Routledge, 2015. ISBN   9781317580720 ( обзор Ин Чжаня в сфере высшего образования , июнь 2015 г., Springer)