Прагматическая обоснованность

Прагматическая валидность в исследованиях опирается на парадигмы, отличные от более традиционных (пост) позитивистских исследовательских подходов. Он пытается смягчить проблемы, связанные с дебатами о строгой релевантности, и применим во всех видах исследовательских направлений. Проще говоря, прагматическая валидность рассматривает исследования с предписывающей точки зрения. Решения проблем, которые на самом деле возникают в сложной и весьма многовариантной области практики, разрабатываются таким образом, что, хотя они и применимы для конкретной ситуации, их необходимо корректировать в соответствии с контекстом, в котором они должны применяться.

Термин «действительность» часто рассматривается как своего рода всеобъемлющий ответ на вопрос, обоснованы ли утверждения о знаниях, полученные в результате исследований. Путаница может возникнуть из-за смешения терминов «внутренняя валидность» и «внешняя валидность», где первый относится к доказательству причинной связи между лечением и эффектом, а второй касается возможности обобщения. (В этом обсуждении я придерживаюсь термина «обобщаемость», а не «внешняя валидность», главным образом, чтобы избежать возможной путаницы между этими двумя терминами.) В ходе этого обсуждения я считаю, что валидность отражается в вопросе: «Правильно ли мы измерили?» или, другими словами, может ли исследователь доказать, что наблюдаемый им эффект на самом деле является следствием причины? Позитивистские исследования подходят к этому вопросу иначе, чем прагматические исследования, основанные на другой парадигме. Исследования в области науки о дизайне — один из примеров исследований, твердо основанных на прагматической перспективе.

Валидность в (пост)позитивистских исследованиях

Постпозитивистские исследования обычно стремятся представить численные данные об эмпирических наблюдениях, сделанных в контролируемой среде, чтобы прийти к универсальной истине о причинном эффекте между ограниченным числом переменных. на чем основана большая часть эпистемологии позитивистской Это утверждение описывает то , науки: изоляция единичных переменных с целью прийти к выводу, свободному от контекста. Лабораторные эксперименты и количественные модели являются предпочтительными методами наблюдения и отчетности. Считается, что они исключают любые конкурирующие правдоподобные объяснения и, таким образом, помогают гарантировать достоверность.

Валидность в прагматических исследованиях

К валидности исследований, основанных на рецептах, подходят иначе, чем к описательным исследованиям. Первое отличие касается того, что некоторые исследователи называют «беспорядочными ситуациями» (Браун, 1992; Коллинз, Джозеф и Белачук, 2004). В реальной жизни существует запутанная ситуация, в которой независимые переменные не могут быть ни минимизированы, ни полностью учтены. В объяснительной науке эксперименты проводятся в контролируемых лабораториях, где переменные можно свести к минимуму. Сложный характер вмешательства в реальной жизни означает, что успех или неудачу (эффект) вмешательства может быть трудно однозначно связать с самим вмешательством (причиной). Этот аспект требований науки к знанию рассматривается как чрезвычайно проблематичный для ученых-позитивистов, ищущих объяснений. Однако ученые, использующие прагматическую парадигму, реагируют на эту концепцию двояко; во-первых, ставя под сомнение ценность исследований, проводимых в контролируемой ситуации (Brown 1992; Hodkinson 2004; Kelly and Lesh 2000; Perrin 2000; Susman and Evered 1978; Walker and Evers 1999; Zaritsky et al. 2003) и, во-вторых, рассматривая причинно-следственные связи с другой точки зрения.

Использование фразы «прагматическая валидность» впервые обсуждалось в работе Уоррена, Мура и Эллиотта (2002), которые противопоставили ее «научной валидности». Эти идеи в значительной степени были подхвачены в литературе по менеджменту.

Многие исследователи социальных наук утверждают, что тестирование вмешательств в контролируемых лабораторных условиях вряд ли осуществимо и не отражает реальный мир. Им необходимы реальные условия для создания ценных исследовательских артефактов. Эти артефакты подтверждаются уровнем принятия практиками в сообществе практиков, связанных с этой областью. Новотны (2000) называет знания, подтвержденные междисциплинарным сообществом практиков, «социально устойчивыми», имея в виду, что они были разработаны в (и для) контекстах за пределами лаборатории и могут использоваться практиками.

В следующем утверждении Кук (1983) ссылается на известного исследователя образования Кронбаха о многомерной причинной взаимозависимости и обоснованности, а также о необходимости понимания сложности исследуемой ситуации.

Закономерные утверждения о причинно-следственной связи требуют полного знания этой системы переменных, чтобы можно было достичь полного предсказания результата. Ввиду своей веры в системную организацию причинных связей и полезность причинных объяснений такого типа, Кронбах задается вопросом, чувствительны ли экспериментаторы к изоляции и манипулированию небольшим набором конкретных причинных агентов к реальной природе причинной агентности, которая зависит от сложные модели влияния между несколькими событиями, а также включают характеристики респондентов, обстановку и время (стр. 78).

Таким образом, Кук (1983) фактически ставит под сомнение достоверность причинных объяснений, полученных в бесконтекстной обстановке (цель позитивистского объяснительного исследования). Причинно-следственные связи в прагматических исследованиях рассматриваются несколько иначе, что проявляется уже в самой формулировке.

Утверждение о причинной связи в позитивистских исследованиях примерно следующее; если вы выполняете действие x по отношению к субъекту y, то происходит z. Это предполагает, что мешающие переменные исключены и утверждение всегда истинно, независимо от ситуации (внутренне и внешне достоверно). Сейчас я хочу использовать концепцию «технологических правил», чтобы проиллюстрировать, как причинность проявляется в предписаниях.

Целью прагматической науки является развитие знаний, которые можно использовать для улучшения ситуации. Это мы можем назвать предписывающим знанием. Предписывающее знание, по мнению ван Акена (2004, 2004b, 2005), может принимать форму технологического правила. Технологическое правило — это «...часть общих знаний, связывающая вмешательство или артефакт с ожидаемым результатом или эффективностью в определенной области применения» (ван Акен, 2005: стр. 23). Это правило можно сформулировать почти так же, как мой предыдущий пример причинного утверждения; «Если вы выполняете действие X по отношению к субъекту Y, то происходит Z» (обратите внимание на формулировку причины и следствия). Этот тип алгоритмической формулировки называется проектным решением (vanAken and Romme, 2005). Проектное решение обычно представляет собой статистически подтвержденную количественную модель, которую можно рассматривать как конкретную инструкцию (van Aken & Romme, 2005). С другой стороны, существуют более абстрактные технологические правила, которые используются для проектирования решений. Это эвристики, которые направляют, но не определяют процесс проектирования и называются проектными решениями (ван Акен, 2005; ван Акен и Ромме, 2005). Проектные решения формулируются следующим образом; «Если вы хотите достичь Y в ситуации Z, то вы выполняете что-то вроде X» (van Aken & Romme, 2005; стр. 6). Короче говоря, результирующими артефактами прагматических исследований также могут быть причинно-следственные связи, просто обычно не столь конкретные или редукционистские, как те, которые возникают в результате позитивистских исследований. Слова «что-то вроде» в этом утверждении имплицитно указывают на сложность, в которой разыгрываются причинно-следственные связи. Причинный агент (X в приведенном выше утверждении) также можно рассматривать как сложный и многомерный (Cook, 1983). Тестирование этих причинных агентов проводится в контексте, во многом так же, как оценочные исследования проверяют социальные или экономические программы (van Aken 2003).

Источники

• Браун, А. 1992. «Эксперименты по проектированию: теоретические и методологические проблемы создания сложных вмешательств в классной комнате». Журнал обучающих наук 2 (2): 141-178.
• Коллинз А., Джозеф Д. и Белачук. К.; 2004. «Дизайн-исследования: теоретические и методологические проблемы». Журнал обучающих наук 13 (1): 15-42.
• Кук, Т.Д. 1983. "Квази-эксперимент: его онтология, эпистемология и методология". В книге Beyond Method: Strategies for Social Research под редакцией Г. Моргона. Лондон: Сейдж.
• Ходкинсон, П. 2004. «Исследование как форма работы: экспертиза, сообщество и методологическая объективность». Британский журнал исследований в области образования 30 (1): 9-26.
• Хусен, Т. 1999. Исследовательские парадигмы в образовании. В «Проблемах образования» под редакцией Дж. П. Кивза и Г. Лакомски. Амстердам: Пергамон.
• Келли, А.Е. и Леш. РА; 2000. «Тенденции и изменения в методах исследования». В Справочнике по планированию исследований в области математики и естественнонаучного образования под редакцией А.Е. Келли и Р.А. Леша. Махва, Нью-Джерси: Лоуренс Эрлбаум.
• Перрин, Б. 2000. Дональд Т. Кэмпбелл и искусство практической оценки программ «в окопах». В книге «Достоверность и социальные эксперименты » под редакцией Л. Бикмана. Таузенд-Оукс: Сейдж.
• Сусман, Дж.И. и Эверед. РД, 1978. «Оценка научных достоинств практических исследований». Ежеквартальный журнал «Административная наука» 23:528-603.
• ван Акен, JE 2005. «Исследование управления как наука о дизайне: формулирование исследовательских продуктов способа 2 производства знаний в менеджменте». Британский журнал менеджмента 16 (1): 19-36.
• ван Акен, Дж. Э. и А. Г. Л. Ромме. 2005. Изобретая будущее заново: исследования в области науки о дизайне в области организационных исследований (неопубликованная работа): Технологический университет Эйндховена / Университет Тилбурга.
• ванАкен, Дж.Э. и А.Г.Л. Ромм. 2005. Изобретая будущее заново: исследования в области науки о дизайне в области организационных исследований (неопубликованная работа): Технологический университет Эйндховена / Университет Тилбурга.
• Уокер, Дж. К. и К. В. Эверс. 1999. «Исследования в области образования: эпистемологические проблемы». В «Проблемах исследований в области образования » под редакцией Дж. П. Кивза и Г. Лакомски. Амстердам: Пермамон.
• Уоррен, Николай, Карл Мур и Ричард Эллиот. 2002. «Когда теории становятся инструментами: к структуре прагматической обоснованности», Human Relations , 55 (10): 1227-1250.
• Зарицкий Р., А.Е. Келли, У. Флауэрс, Э. и Роджерс и П. О'Нил. 2003. Науки о клиническом дизайне: взгляд на усилия сестры по дизайну. Исследователь в области образования 32 (1):32-34.