Частота ответов (опрос)
В опросных исследованиях процент ответов , также известный как процент завершения или коэффициент возврата , представляет собой количество людей, ответивших на опрос, разделенное на количество людей в выборке . Обычно он выражается в процентах . Этот термин также используется в прямом маркетинге для обозначения количества людей, откликнувшихся на предложение.
Общий консенсус в академических опросах заключается в выборе одного из шести определений, обобщенных Американской ассоциацией исследований общественного мнения (AAPOR). [1] Эти определения одобрены Национальным исследовательским советом и Журналом Американской медицинской ассоциации, а также другими широко признанными учреждениями. [ нужна ссылка ] Они есть:
- Коэффициент ответов 1 (RR1) – или минимальный уровень ответов – это количество полных интервью, разделенное на количество интервью (полных и частичных) плюс количество неинтервью (отказы и разрывы, отсутствие контактов плюс другие) плюс все случаи, когда право на участие неизвестно (неизвестно, если жилая единица, плюс неизвестно, другое).
- Коэффициент ответов 2 (RR2) – RR1 + подсчет частичных интервью в качестве респондентов.
- Коэффициент ответов 3 (RR3) – оценивает, какая доля случаев неизвестного соответствия критериям действительно соответствует критериям. Те респонденты, которые, по оценкам, не соответствуют критериям участия, исключаются из знаменателя. Метод оценки *должен* быть явно указан в RR3.
- Коэффициент ответов 4 (RR4) – распределяет случаи неизвестного соответствия критериям, как в RR3, но также включает частичные интервью в качестве респондентов, как в RR2.
- Коэффициент ответа 5 (RR5) – это либо особый случай RR3, поскольку предполагается, что среди случаев неизвестного соответствия критериям нет подходящих случаев, либо редкий случай, когда нет случаев неизвестного соответствия критериям. RR5 подходит только в том случае, если можно предположить, что ни один из неизвестных случаев не соответствует критериям отбора, или когда неизвестных случаев нет.
- Коэффициент ответов 6 (RR6) – предполагает то же предположение, что и RR5, а также включает частичные интервью в качестве респондентов. RR6 представляет собой максимальную скорость ответа.
Шесть определений AAPOR различаются в зависимости от того, заполнены ли опросы частично или полностью, и как исследователи обращаются с неизвестными нереспондентами. Например, определение № 1 НЕ включает в числитель частично завершенные опросы, а определение № 2 – включает. Определения 3–6 касаются неизвестного соответствия критериям потенциальных респондентов, с которыми не удалось связаться. Например, нет ответа у дверей 10 домов, которые вы пытались обследовать. Возможно, в 5 из тех, кого вы уже знаете, проживают люди, которые подходят для вашего опроса, основываясь на том, что соседи рассказали вам, кто там жил, но остальные 5 совершенно неизвестны. Возможно, жители соответствуют вашей целевой группе населения, а может быть, и нет. Это может учитываться, а может и не учитываться в вашем показателе ответов, в зависимости от того, какое определение вы используете.
Пример: если по почте было отправлено 1000 опросов, а 257 были успешно заполнены (полностью) и возвращены, то процент откликнувшихся составит 25,7%.
Важность
[ редактировать ]Доля ответов на опрос является результатом деления количества людей, которые были опрошены, на общее количество людей в выборке, которые имели право на участие и должны были быть опрошены. [2] Низкий уровень ответов может привести к систематической ошибке выборки , если участники не ответили одинаково в отношении воздействия и/или исхода. Такая систематическая ошибка известна как систематическая ошибка отсутствия ответов .
На протяжении многих лет доля ответивших на опрос рассматривалась как важный показатель качества опроса. Многие наблюдатели полагали, что более высокий уровень ответов обеспечивает более точные результаты опроса (Aday 1996; Babbie 1990; Backstrom and Hursh 1963; Rea и Parker 1997). Но поскольку измерение связи между отсутствием ответов и точностью статистических данных опроса является сложным и дорогостоящим, лишь немногие тщательно спланированные исследования предоставили эмпирические данные, подтверждающие последствия более низкого уровня ответов до недавнего времени.
Такие исследования, наконец, были проведены в последние годы, и некоторые из них пришли к выводу, что затраты на увеличение частоты ответов часто не оправданы, учитывая разницу в точности опросов.
Об одном из первых примеров открытия сообщили Виссер, Кросник, Маркетт и Кертин (1996), которые показали, что опросы с более низким уровнем ответов (около 20%) дали более точные измерения, чем опросы с более высоким уровнем ответов (около 60 или 70%). . [3] В другом исследовании Keeter et al. (2006) сравнили результаты 5-дневного опроса с использованием обычной методологии Исследовательского центра Pew (с уровнем ответа 25%) с результатами более тщательного опроса, проведенного в течение гораздо более длительного полевого периода и достигшего более высокого уровня ответа - 50%. В 77 из 84 сравнений два опроса дали статистически неотличимые результаты. Среди вопросов, по которым были выявлены существенные различия в двух опросах, различия в доле людей, давших тот или иной ответ, варьировались от 4 до 8 процентных пунктов. [4]
Исследование Curtin et al. (2000) проверили влияние более низкого уровня ответов на оценки Индекса потребительских настроений (ICS). Они оценили влияние исключения респондентов, которые изначально отказались сотрудничать (что снижает процент ответов на 5–10 процентных пунктов), респондентов, которым для завершения интервью потребовалось более пяти звонков (снижение уровня ответов примерно на 25 процентных пунктов), а также тех, кто потребовалось более двух звонков (сокращение примерно на 50 процентных пунктов). Они не обнаружили влияния исключения этих групп респондентов на оценки ICS с использованием ежемесячных выборок из сотен респондентов. По годовым оценкам, основанным на тысячах респондентов, исключение людей, которым требовалось больше звонков (хотя и не первоначально отказавшихся), было очень небольшим. [5]
Холбрук и др. (2005) оценили, связаны ли более низкие показатели ответов с меньшей невзвешенной демографической репрезентативностью выборки. Изучив результаты 81 национального опроса с уровнем ответов, варьирующимся от 5 до 54 процентов, они обнаружили, что опросы с гораздо более низким уровнем ответа снизили демографическую репрезентативность в пределах исследуемого диапазона, но ненамного. [6]
Чунг и др. (2013) изучили уровень ответов сообщества на отправленную по почте анкету о функциональных желудочно-кишечных расстройствах. Уровень ответов на опрос сообщества составил 52%. Затем они взяли случайную выборку из 428 пациентов, ответивших на лечение, и 295 пациентов, не ответивших на лечение, для извлечения медицинских данных и сравнили тех, кто не ответил на лечение, с теми, кто не ответил на лечение. Они обнаружили, что респонденты имели значительно более высокий индекс массы тела и чаще обращались за медицинской помощью по поводу проблем, не связанных с желудочно-кишечным трактом. Однако, за исключением дивертикулеза и кожных заболеваний, не было существенной разницы между ответившими и не ответившими на лечение с точки зрения каких-либо желудочно-кишечных симптомов или конкретного медицинского диагноза. [7]
Тем не менее, несмотря на эти недавние исследования, более высокий уровень ответов предпочтителен, поскольку недостающие данные не являются случайными. [8] Не существует удовлетворительного статистического решения для работы с отсутствующими данными, которые не могут быть случайными. Одним из предлагаемых методов борьбы с низким уровнем ответов на опрос является предположение о крайней предвзятости респондентов. Высокий процент ответов (>80%) в небольшой случайной выборке предпочтительнее, чем низкий уровень ответов в большой выборке. [9]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ «Стандартные определения – AAPOR» . Стандартные определения – AAPOR . ААПОР . Проверено 3 марта 2016 г.
- ^ «Частота ответов – обзор». Американская ассоциация исследований общественного мнения (AAPOR). 29 сентября 2008 г. http://www.aapor.org/Education-Resources/For-Researchers/Poll-Survey-FAQ/Response-Rates-An-Overview.aspx
- ^ Виссер, Пенни С.; Кросник, Джон А.; Маркетт, Джесси; Кертин, Майкл (1996). «Почтовые опросы для прогнозирования выборов? Оценка диспетчерского опроса в Колумбии». Общественное мнение ежеквартально . 60 (2): 181–227. дои : 10.1086/297748 .
- ^ Китер, Скотт, Кортни Кеннеди, Майкл Димок, Джонатан Бест и Пейтон Крейгхилл. 2006. «Оценка влияния растущего отсутствия ответов на оценки национального телефонного опроса RDD». Общественное мнение Ежеквартально. 70 (5): 759–779.
- ^ Кертин, Ричард; Прессер, Стэнли; Певица Элеонора (2000). «Влияние изменения скорости отклика на индекс потребительских настроений». Общественное мнение ежеквартально . 64 (4): 413–428. дои : 10.1086/318638 . ПМИД 11171024 .
- ^ Холбрук, Эллисон, Джон Кросник и Элисон Пфент. 2007. «Причины и последствия уровня ответов в опросах, проводимых средствами массовой информации и исследовательскими фирмами по опросам государственных подрядчиков». В книге «Достижения методологии телефонных опросов» под ред. Джеймс М. Лепковски, Н. Клайд Такер, Дж. Майкл Брик, Эдит Д. Де Леу , Лилли Япек, Пол Дж. Лавракас, Майкл В. Линк и Роберта Л. Сангстер. Нью-Йорк: Уайли. https://pprg.stanford.edu/wp-content/uploads/2007-TSMII-chapter-proof.pdf
- ^ Сон Чунг, Рок; Ричард Локк, III; Шлек, Кэти Д.; Зигенфус, Жанетт Ю.; Биб, Тимоти Дж.; Цинсмайстер, Алан Р.; Тэлли, Николас Дж. (2013). «Низкий уровень ответов не обязательно указывает на предвзятость отсутствия ответов в гастроэнтерологических исследованиях: популяционное исследование». Журнал общественного здравоохранения . 21 (1): 87–95. дои : 10.1007/s10389-012-0513-z . S2CID 38267579 .
- ^ Альтман, Д.Г.; Бланд, Дж. М. (февраль 2007 г.). «Недостающие данные» . БМЖ . 334 (7590): 424. doi : 10.1136/bmj.38977.682025.2C . ПМК 1804157 . ПМИД 17322261 .
- ^ Эванс, SJ (февраль 1991 г.). «Хорошее руководство по опросам» . БМЖ . 302 (6772): 302–3. дои : 10.1136/bmj.302.6772.302 . ПМК 1669002 . ПМИД 2001503 .