Разработка социального опроса

Проектирование социального исследования: научный вывод в качественных исследованиях (или KKV ) — это влиятельная книга 1994 года, написанная Гэри Кингом , Робертом Кеоханом и Сидни Вербой , в которой излагаются рекомендации по проведению качественных исследований . Центральный тезис книги заключается в том, что качественные и количественные исследования имеют одну и ту же «логику вывода ». Книга в первую очередь применяет уроки регрессионно-ориентированного анализа к качественным исследованиям, утверждая, что одна и та же логика причинно-следственных связей может использоваться в обоих типах исследований.

этот текст часто называют KKV В рамках социальных наук . Книга стала предметом интенсивных дискуссий среди ученых-социологов. Книга 2004 года «Переосмысление социального исследования» под редакцией Генри Э. Брейди и Дэвида Коллиера представляет собой влиятельное резюме ответов на KKV.

История

Роберт Кеохейн рассказывает о происхождении KKV следующим образом:

Разработка социального исследования не была порождена загадками мировой политики. Напротив, это был результат счастливой случайности. Сид Верба и я были друзьями, и когда я поступил на работу в Государственный департамент Гарварда в 1985 году, он сказал, что нам следует преподавать курс вместе. Я расценил это замечание как приветственную шутку, типичную для грации и теплоты Сида. Три года спустя я стал заведующим кафедрой и за первый год своего пребывания на посту председателя был вынужден прослушать 24 доклада о работе. Большинство из этих выступлений были мертвы по прибытии, поскольку докладчик допустил фундаментальные ошибки в планировании исследования. Я пожаловался коллегам, в том числе Сиду и Гэри Кингу. Гэри сказал, что мы втроем должны вместе вести курс по планированию исследований... Я согласился, и мы читали этот курс в следующем году... После окончания семестра Гэри сказал: «Нам следует преподавать этот курс еще раз. И на этот раз нам следует написать книгу на эту тему». В следующем году мы регулярно встречались за обедом, обсуждая не только темы курса, но и черновики, которые написал один из нас — чаще всего Гэри, поэтому его имя появляется первым в книге.

Содержание

Цель книги — помочь исследователям сделать обоснованные причинно-следственные выводы в исследованиях в области социальных наук. Книга в первую очередь применяет уроки регрессионно-ориентированного анализа к качественным исследованиям, утверждая, что одна и та же логика причинно-следственных связей может использоваться в обоих типах исследований. Авторы утверждают, что «независимо от того, изучаем ли мы много явлений или мало… исследование улучшится, если мы соберем данные о как можно большем количестве наблюдаемых последствий нашей теории». Авторы отмечают, что тематические исследования не обязательно должны состоять из N=1 или нескольких N: тематическое исследование может включать в себя множество наблюдений в рамках одного случая (множество физических и юридических лиц за многие периоды времени). KKV критикует идею Гарри Х. Экстайна о «важнейших тематических исследованиях», предупреждая, что одно наблюдение затрудняет оценку множественных причинных эффектов, повышает вероятность ошибки измерения и рискует, что событие в отдельном случае было вызвано случайная ошибка.

По мнению авторов, сильный дизайн исследования требует как качественного, так и количественного исследования, исследовательского вопроса, который ставит важный и реальный вопрос, который внесет вклад в базу знаний по этому конкретному предмету, а также всестороннего обзора литературы, на основе которого выдвигаются гипотезы (теории- управляемый) затем рисуются. Собранные данные должны быть использованы на практике, чтобы другие исследователи могли повторить исследование и достичь аналогичных результатов. По той же причине процесс рассуждения, лежащий в основе анализа, должен быть явным. При сборе данных исследователь должен учитывать наблюдаемые последствия теории, стремясь объяснить как можно большую часть данных. Это дополнение к изучению причинных механизмов, связывающих одну переменную с другой.

Хотя качественные методы не могут обеспечить точные измерения неопределенности выводов (в отличие от количественных методов), ученые, занимающиеся качественными исследованиями, должны давать указания на неопределенность своих выводов. ККВ утверждают, что «самой серьезной проблемой качественных исследований в политической науке является повсеместная неспособность предоставить разумные оценки неопределенности выводов исследователя».

Согласно ККВ, правила хороших причинных теорий заключаются в том, что они должны:

• быть фальсифицируемым
• иметь внутреннюю непротиворечивость (генерировать гипотезы, не противоречащие друг другу)
• иметь вариации (объяснительные переменные должны быть экзогенными, а зависимые переменные должны быть эндогенными )
• иметь «конкретные» концепции (концепции должны быть наблюдаемыми)
• иметь «рычаги» (теория должна объяснять многое понемногу).

KKV считает, что отслеживание процессов и качественные исследования «неспособны дать убедительные причинно-следственные выводы» из-за того, что учёным, изучающим качественные исследования, будет сложно определить, какая из многих промежуточных переменных действительно связывает независимую переменную с зависимой переменной. Основная проблема заключается в том, что качественным исследованиям не хватает достаточного количества наблюдений для правильной оценки влияния независимой переменной. Они пишут, что количество наблюдений можно было бы увеличить различными способами, но это одновременно привело бы к другой проблеме: количество переменных увеличилось бы и, таким образом, уменьшилось бы количество степеней свободы .

Что касается выбора случая, KKV предостерегает от « выбора по зависимой переменной ». Например, исследователи не могут сделать обоснованные причинно-следственные выводы о начале войн, рассматривая только случаи, когда война действительно происходила (исследователь должен также рассматривать случаи, когда войны не было). Однако существует методологическая проблема при выборе объясняющей переменной. Они предупреждают о мультиколлинеарности (выборе двух или более объясняющих переменных, которые идеально коррелируют друг с другом). Они утверждают, что случайный отбор случаев является действенной стратегией отбора случаев в исследованиях с большим N, но предостерегают от этого в исследованиях с малым N.

ККВ отвергает понятие « квазиэкспериментов », утверждая, что либо все ключевые причинные переменные можно контролировать (эксперимент), либо нет (неэксперимент).

Прием

В своем обзоре 2010 года Джеймс Махони пишет, что область методологии социальных наук «выиграла от KKV, даже несмотря на то, что она вышла за его пределы». Критики KKV охарактеризовали утверждения книги как «часто упрощенные, вводящие в заблуждение и неподходящие в качестве руководства для разработки социальных исследований». Ученые-количественные ученые, такие как Генри Э. Брэди , Ларри М. Бартелс и Дэвид А. Фридман, утверждали, что KKV преувеличивает сильные стороны количественных исследований по сравнению с качественными исследованиями. Генри Брэди и Дэвид Коллиер утверждают, что KKV преувеличивает способность количественных исследований выявлять неопределенность. Они также утверждают, что ККВ преувеличивают риски проведения индуктивных исследований и формирования гипотез post hoc.

Многие ученые не согласны с ККВ в их утверждениях о том, что качественные исследования должны интегрировать стандарты количественных исследований. Существуют разные логики проведения качественных исследований и того, что ученые, занимающиеся качественными исследованиями, ищут и могут делать со своими данными. Брэди и Коллиер утверждают, что KKV уделяет недостаточно внимания этим расходящимся логикам, а также внутренним компромиссам между различными методологическими целями. Гэри Герц и Джеймс Махони оспаривают, что основное различие между качественными и количественными исследованиями заключается в размере N. Вместо этого основное различие заключается в том, что ученые, изучающие качественные исследования, как правило, проводят анализ внутри случая, тогда как ученые, изучающие количественные исследования, почти по определению проводят анализ перекрестных случаев.

Махони пишет, что KKV игнорирует теорию множеств и логику с точки зрения оценки причинного вывода. В то время как регрессионно-ориентированный анализ направлен на оценку среднего эффекта определенных результатов, качественные исследования стремятся объяснить, почему случаи имеют определенные результаты. Таким образом, причинный вывод усиливается не за счет увеличения размера N, а за счет тщательного выбора случаев, проверка которых может усилить или ослабить теорию. Махони и Гэри Герц проводят аналогию с делом об убийстве: одно неоспоримое доказательство может убедительно показать, совершил ли человек убийство.

Махони также пишет, что KKV уделяет недостаточно внимания формированию понятий, которое является важным аспектом построения теории и измерения, а также одним из важных способов, с помощью которых качественные исследования могут играть ключевую роль.

Рональд Роговски критикует то, как KKV относится к качественным исследованиям в области социальных наук. Роговский утверждает, что слишком много внимания уделяется проверке гипотез и слишком много предостережений против использования единичных наблюдений. Роговский утверждает, что KKV продвигает форму качественной социальной науки, которая чрезмерно ориентирована на проверку гипотез, и что это ограничивает вопросы, случаи и амбиции ученых. Джон Дж. Миршаймер и Стивен М. Уолт утверждают, что научные исследования в области международных отношений перешли от разработки и совершенствования теории международных отношений к «упрощенной проверке гипотез», отчасти из-за влияния KKV на программы магистратуры по политологии.

Александр Джордж и Эндрю Беннетт говорят, что в KKV «есть много, с чем можно согласиться», но они утверждают, что в книге есть несколько недостатков в руководстве по качественным исследованиям:

• Причинные механизмы: KKV предполагает, что «причинные механизмы» менее важны, чем «причинные следствия» в причинных объяснениях - Джордж и Беннетт утверждают, что они одинаково важны.
• Проверка гипотез: KKV чрезмерно подчеркивает роль проверки гипотез в разработке теории - Джордж и Беннетт утверждают, что формирование новых гипотез и выбор новых вопросов также являются важными аспектами разработки теории.
• Причинная сложность: KKV не учитывает проблемы причинной сложности, такие как эквифинальность, эффекты множественного взаимодействия, петли обратной связи , зависимость пути , переломные моменты , эффекты отбора, эффекты ожиданий и последовательные взаимодействия. Джордж и Беннет утверждают, что тематические исследования, отслеживание процессов и типологические теории могут прояснить причинно-следственную связь в ситуациях причинной сложности.
• Увеличение N: KKV утверждает, что ученые всегда должны стремиться к увеличению количества случаев - Джордж и Беннетт утверждают, что KKV не учитывает затраты на увеличение количества случаев (например, концептуальное расширение и непреднамеренное сравнение несходных случаев). Джордж и Беннетт отмечают, что большую пользу можно извлечь из исследований отдельных случаев.
• Отслеживание процессов: KKV характеризует отслеживание процессов как способ увеличить количество наблюдаемых последствий. Джордж и Беннетт утверждают, что логика отслеживания процессов совершенно иная. Логика отслеживания процессов заключается в том, чтобы сосредоточиться на последовательностях и сроках внутри дела, а не на корреляции данных между делами. Таким образом, если одно свидетельство в последовательности не соответствует теоретическим ожиданиям, то теория оказывается ошибочной.
• Проблема «степеней свободы» : ККВ утверждает, что один случай не может оценить конкурирующие объяснения из-за проблем, возникающих из-за степеней свободы - Джордж и Беннетт утверждают, что применять эту статистическую логику к качественным исследованиям ошибочно. Джордж и Беннетт говорят, что в то время как ученые, изучающие количественные методы, пытаются агрегировать переменные, чтобы уменьшить количество переменных и, таким образом, увеличить степени свободы, ученые, изучающие качественные исследования, намеренно хотят, чтобы их переменные имели множество различных атрибутов и сложности.

Дальнейшее чтение

• Обзорный симпозиум в журнале American Political Science Review Vol. 89, № 2, июнь 1995 г.
• Гэри Герц и Джеймс Махони кратко изложили содержание KKV в своей книге 2012 года « Повесть о двух культурах: качественные и количественные исследования в социальных науках» .