Оценка на основе консенсуса

Оценка, основанная на консенсусе, расширяет общепринятую практику принятия решений на основе консенсуса и теоретическое наблюдение о том, что экспертные знания могут быть близко оценены большим количеством новичков или подмастерьев. Он создает метод определения стандартов измерения для очень неоднозначных областей знаний, таких как эмоциональный интеллект , политика, религия, ценности и культура в целом. С этой точки зрения общие знания, формирующие культурный консенсус, можно оценивать во многом так же, как экспертные знания или общий интеллект.

Стандарты измерения общего интеллекта

Оценка, основанная на консенсусе, основана на простом выводе: выборки людей с различной компетентностью (например, эксперты и ученики) оценивают соответствующие сценарии, используя шкалы Лайкерта , со схожими средними оценками. Таким образом, с точки зрения структуры CBA, культурные стандарты для оценки ключей могут быть получены на основе оцениваемой совокупности. Питер Легри и Джозеф Псотка, работавшие вместе на протяжении последних десятилетий, предположили, что психометрическое g можно измерять ненавязчиво с помощью шкал, подобных опросам, требующих суждений. При этом можно использовать либо оценку отклонения для каждого человека из группы, либо экспертное среднее значение; или корреляция Пирсона между их суждениями и средним значением группы. Эти две техники прекрасно коррелируют. Легри и Псотка впоследствии создали шкалы, в которых людям предлагалось оценить частоту слов; судить о двоичных вероятностях хорошего продолжения; определить последствия знаний; и приблизительное распределение занятости. Вопросы были тщательно идентифицированы, чтобы избежать объективных референтов, и поэтому шкалы требовали от респондентов высказывать суждения, которые оценивались в соответствии с широко разработанными общепринятыми стандартами. Результаты этой группы суждений коррелировали примерно на 0,80 с обычными показателями психометрии. г . Ключи ответа были получены по обоюдному согласию. В отличие от вопросов по математике или физике, выбор предметов, сценариев и вариантов оценки психометрического g в целом определялся теорией, которая делала упор на комплексное суждение, но явные ключи были неизвестны до тех пор, пока не были сделаны оценки: они определялись средним значением ответы каждого, используя оценки отклонений, корреляции или оценки факторов.

Стандарты измерения культурных знаний

Один из способов понять связь между экспертными знаниями и консенсусом — принять во внимание, что во многих сферах деятельности экспертные знания в значительной степени отражают знания, полученные на основе опыта. Поскольку у новичков, как правило, меньше опыта, их мнения ошибочны в различных противоречивых направлениях. Однако по мере накопления опыта мнения от подмастерьев до экспертов становятся более последовательными. Согласно этой точке зрения, ошибки случайны. Таким образом, данные рейтингов, собранные на основе больших выборок респондентов с разным опытом, могут быть использованы для приблизительного определения средних оценок, которые предоставило бы значительное количество экспертов, если бы экспертов было много. Поскольку стандартное отклонение среднего будет приближаться к нулю по мере того, как количество наблюдений становится очень большим, оценки, основанные на группах различной компетентности, дадут сходящиеся оценки лучших стандартов производительности. Средства ответов этих групп можно использовать для создания эффективных критериев оценки или стандартов измерения для оценки эффективности. Этот подход особенно актуален для оценки субъективных областей знаний, которые масштабируются с использованием шкалы ответов Лайкерта, и этот подход был применен для разработки стандартов оценки для нескольких областей, где экспертов не хватает.

Результаты эксперимента

На практике анализы продемонстрировали высокие уровни конвергенции между экспертными стандартами и стандартами CBA, при этом значения, количественно определяющие эти стандарты, сильно коррелируют ( R Пирсона варьируется от 0,72 до 0,95), а оценки, основанные на этих стандартах, также сильно коррелируют ( R s варьируется от 0,72 до 0,95). от 0,88 до 0,99) при условии, что размер выборки обеих групп велик (Legree, Psotka, Tremble & Bourne, 2005). Эта конвергенция между оценками CBA и оценками экспертов, а также соответствующими данными о достоверности указывает на то, что CBA и оценка экспертов могут использоваться взаимозаменяемо, при условии, что данные рейтингов собираются с использованием больших выборок экспертов и новичков или подмастерьев.

Факторный анализ

CBA часто рассчитывается с использованием корреляции Пирсона R суждений каждого человека по шкале Лайкерта по набору предметов со средним значением суждений всех людей по этим же предметам. В таком случае корреляция является мерой близости этого человека к консенсусу. Иногда его также рассчитывают как стандартизированный показатель отклонения от согласованных средних значений групп. Эти две процедуры математически изоморфны. Если культура считается общим знанием; а среднее значение рейтингов группы в конкретной области знаний считается мерой культурного консенсуса в этой области; затем обе процедуры оценивают CBA как меру культурного понимания отдельного человека.

Однако может случиться так, что консенсус не будет равномерно распределен по всем второстепенным пунктам темы. Возможно, содержание знаний в элементах распределено по областям с разным консенсусом. Например, консерваторы-либертарианцы могут иначе относиться к вторжению в частную жизнь, чем консерваторы, которые решительно относятся к закону и порядку. Фактически, стандартный факторный анализ выдвигает эту проблему на первый план.

При анализе центроидов или главных компонентов (PCA) первые оценки факторов создаются путем умножения каждого рейтинга на корреляцию фактора (обычно среднего значения всех стандартизированных рейтингов для каждого человека) с рейтингами каждого элемента. Это умножение взвешивает каждый элемент за счет корреляции структуры индивидуальных различий по каждому элементу (оценки компонентов). Если консенсус по этим пунктам распределен неравномерно, некоторые пункты могут быть в большей степени сосредоточены на общих вопросах общего фактора. Если какой-либо пункт высоко коррелирует с характером общих индивидуальных различий, то он имеет больший вес в общих оценках факторов. Этот вес неявно также влияет на оценку CBA, поскольку именно те элементы, которые разделяют общую модель консенсуса CBA, имеют больший вес в факторном анализе.

транспонированной или Q-методологии Факторный анализ , созданный Уильямом Стивенсоном (психологом), явно выявляет эту взаимосвязь. Оценки CBA статистически изоморфны оценкам компонентов PCA для анализа Q-фактора. Они представляют собой нагрузку ответов каждого человека на среднее значение ответов всех людей. Таким образом, анализ Q-фактора может обеспечить превосходную меру CBA, если его можно использовать сначала для выбора людей, которые представляют доминирующее измерение, а не элементов, которые лучше всего представляют второстепенное атрибутивное измерение предметной области (например, либерализм в политической сфере). Факторный анализ может затем предоставить CBA отдельных лиц по этой конкретной оси домена.

На практике, когда элементы сложно создать и упорядочить для обеспечения высоконадежной шкалы, в анализе Q-фактора нет необходимости, поскольку исходный факторный анализ также должен выбирать те элементы, которые имеют общий консенсус. Так, например, в шкале вопросов политических взглядов вопросы могут касаться отношения к большому правительству; закон и порядок; экономические вопросы; трудовые вопросы; или либертарианские проблемы. Какой из этих пунктов наиболее сильно влияет на политические взгляды опрошенных групп, может быть трудно определить априори. Однако, поскольку факторный анализ представляет собой симметричные вычисления на матрице предметов и людей, первоначальный факторный анализ предметов (когда это шкалы Лайкерта) отбирает не только те элементы, которые находятся в аналогичной области, но, в более общем плане, те элементы, которые имеют аналогичный консенсус. Дополнительным преимуществом этого метода факторного анализа является то, что элементы автоматически распределяются по факторам, так что самые высокие оценки Лайкерта также являются самыми высокими стандартными оценками CBA. После выбора этот фактор определяет баллы CBA (компонента).

Критика

Наиболее распространенной критикой стандартов CBA является вопрос о том, как среднее значение может быть максимальным стандартом. Эта критика утверждает, что CBA не подходит для максимально эффективных тестов психологических качеств, особенно интеллекта. Несмотря на это, методы CBA обычно используются для различных измерений нетрадиционного интеллекта (например, практического, эмоционального, социального и т. д.). Подробная критика представлена у Готфредсона (2003) и Макканна, Робертса, Мэтьюза и Зейднера (2004), а также в других источниках научной литературы.

См. также

Ссылки

Готфредсон, Л.С. (2003). Анализ практической теории разведки: ее утверждения и доказательства. Разведка, 31 (4), 343–397.
Легри, П.Дж., Псотка Дж., Трембл, Т.Р. и Борн, Д. (2005). Использование измерения на основе консенсуса для оценки эмоционального интеллекта. В Р. Шульце и Р. Робертсе (ред.), Международный справочник по эмоциональному интеллекту. (стр. 99–123). Берлин, Германия: Хогрефе и Хубер.
Макканн К., Робертс Р.Д., Мэтьюз Г. и Зейднер М. (2004). Консенсусная оценка и эмпирическое взвешивание вариантов тестов эмоционального интеллекта (ЭИ), основанных на результатах. Личность и индивидуальные различия, 36, 645–662.

Внешние ссылки

Информационные технологии и технологии сотрудничества (см. главу 5): Управление коллективным разумом на пути к новому корпоративному управлению
Умные мобы
Мудрость толпы