Эффект режима

Не путать с эффектом модальности .

Эффект режима – это широкий термин, обозначающий явление, когда конкретный опроса режим проведения приводит к сбору разных данных. Например, при задании вопроса с использованием двух разных способов ( например, бумажного и телефонного), ответы в одном режиме могут значительно и существенно отличаться от ответов, данных в другом режиме. Эффекты режима представляют собой методологический артефакт, ограничивающий возможность сравнения результатов, полученных при различных способах сбора данных.

Теория

Определенные режимы опроса приводят респондентов в разное состояние ума, называемое мысленным «сценарием». Это может повлиять на результаты, которые они дают. Например:

• Опросы лицом к лицу подсказывают «гостевой» сценарий. Респонденты с большей вероятностью будут любезно и гостеприимно относиться к интервьюерам, проводящим личный опрос, что делает их более приятными и влияет на их ответы. Различия между интервьюерами, проводящими опрос, также могут привести к ряду «влияний интервьюера» на результаты опроса.
• Телефонные интервью предлагают использовать сценарий «адвоката» или «телемаркетера». Респонденты могут уделять меньше внимания телефонным интервью, что повышает вероятность того, что они будут удовлетворены (ответят на вопросы с наименьшими возможными усилиями), чтобы быстрее завершить интервью. Настороженность в отношении того, кто может быть на другом конце телефона, также может привести к тому, что респонденты будут давать более социально приемлемые ответы, чем в других режимах опроса.

Эффекты режима, вероятно, будут сильнее, чем больше различия между режимами. . Личные интервью существенно отличаются от анкет, заполняемых самостоятельно. Напротив, веб-опросы, бумажные и другие формы, заполняемые самостоятельно, весьма схожи (каждая из них требует, чтобы респонденты прочитали вопрос и лично ответили на вопрос), и поэтому влияние режима может быть сведено к минимуму.

Пользователи опросов должны учитывать потенциальные эффекты режима при сравнении результатов исследований, проведенных в разных режимах. Однако это сложно, поскольку эффекты режима могут быть сложными и зависеть от взаимодействия между демографическими данными респондентов, предметом и режимом. Если эффекты режима не будут официально исследованы для инструмента обследования, трудно определить их размер, и вместо этого потребуются качественные суждения экспертов, знакомых с предметом и соответствующими способами.

Предвзятость социальной желательности

Исследования эффектов режима иногда противоречивы, но некоторые общие закономерности все же выявляются. Например, предвзятость социальной желательности , как правило, самая высокая в телефонных опросах и самая низкая в интернет-опросах:

1. Телефонные опросы
2. Очные опросы
3. IVR-опросы
4. Почтовые опросы
5. Веб-опросы

Таким образом, поскольку данные, собранные по деликатным темам (таким как сексуальное поведение или незаконная деятельность), будут меняться в зависимости от режима администрирования, исследователям следует с осторожностью объединять данные или сравнивать результаты, полученные из разных способов.

Различия в вопросах между режимами

В некоторых режимах формулировка вопросов отличается от других, чтобы соответствовать особенностям режима. Например, в формах для самостоятельного заполнения могут использоваться списки примеров или подробные инструкции, которые помогут респондентам ответить на относительно сложные вопросы. Напротив, в телефонных интервью респонденты часто ограничены своей рабочей памятью и вряд ли смогут понять длинный вопрос с множеством подпунктов. Другим примером является «матрица» вопросов, обычно встречающаяся в самозаполняемых формах, которую нелегко прочитать в устном интервью; скорее, матрицу, как правило, необходимо составить в виде серии отдельных вопросов.

Различия в формулировках вопросов в разных режимах могут привести к тому, что разные режимы будут собирать разные данные. Однако это не всегда так, и соответствующая адаптация вопросов к новому модулю может дать сопоставимые данные. . Разработчики опросов должны учитывать условности этого метода при адаптации вопросов. Например, хотя требование от респондентов самостоятельно рассчитать общие цифры в бумажной форме может быть приемлемым, респонденты могут счесть это обременительным, если это потребуется в веб-форме (где респонденты могут ожидать, что общие суммы будут рассчитаны компьютером автоматически). . Это, в свою очередь, может изменить их отношение к форме, изменить их поведение и, в конечном итоге, изменить собираемые данные.

Выявление и устранение эффектов режима

Эффекты режима можно выявить путем внедрения в опрос эксперимента , в котором определенная доля респондентов распределяется по каждому режиму. Различия в результатах каждого режима должны определять «эффект режима» для данного конкретного обследования.

После количественной оценки эффекта режима можно использовать эту информацию для повторной обработки существующих данных и сравнения данных, собранных в различных режимах (например, путем ретроспективного анализа временных рядов, чтобы определить, какими «были бы» прошлые результаты, если бы они были применены). в новом режиме).

Дифференциальное покрытие между режимами

Различные режимы администрирования могут по своей сути исключать некоторые части целевой группы населения. Это потенциально искажает взятую выборку и изменяет данные по сравнению с теми, которые были бы собраны с использованием другого режима. Например, люди, у которых нет домашнего телефона, исключаются из опросов со случайным цифровым набором (RDD), а люди, не имеющие доступа к Интернету, вряд ли примут участие в веб-опросе. Это означает, что при использовании разных режимов из генеральной совокупности берутся разные выборки. Если эксперименты не предназначены специально для исследования дифференциального покрытия, эффекты мод будут искажаться покрытием. , а существенные различия между режимами/условиями эксперимента могут иметь несколько объяснений:

• свойства режима;com3
• разные «типы» людей, реагирующие на разные режимы;
• как свойства режима, так и различные «типы» респондентов (аддитивным образом);
• взаимодействие . , при котором на некоторых респондентов свойства режима влияют, а на других нет

Эта проблема усугубляется, когда при «живом» проведении опроса используются несколько режимов. В некоторых опросах используется несколько режимов, что позволяет респондентам выбрать наиболее удобный для них метод. То есть ожидается, что разные «типы» респондентов будут использовать разные способы на основе своего собственного выбора. В этом случае эффекты режима трудно оценить количественно, поскольку случайное распределение респондентов по тому или иному условию не отражает их предпочтений. Такому эксперименту не хватает внешней валидности , и его результаты не могут быть напрямую обобщены на ситуации, предлагающие респондентам выбор. Неспособность случайным образом распределить участников по условию (т.е. предоставить им возможность выбора, тем самым сохраняя внешнюю валидность) будет означать, что очевидные различия между режимами отражают совокупный эффект: а) различных типов респондентов, выбирающих каждый режим, и б) любых эффектов режима.