Доведение до конца (проект)

Follow Through был крупнейшим и самым дорогим экспериментальным проектом в сфере образования, финансируемым федеральным правительством США , который когда-либо проводился. Самая обширная оценка данных Follow Through охватывает 1968–1977 годы; однако программа продолжала получать финансирование от правительства до 1995 года. Программа Follow Through изначально задумывалась как продолжение федеральной программы Head Start , которая предоставляла образовательные, медицинские и социальные услуги обычно обездоленным детям дошкольного возраста и их семьям. Таким образом, функция Follow Through заключалась в обеспечении продолжения оказания этих услуг учащимся в начальных классах начальной школы.

В послании президента Линдона Б. Джонсона в 1967 году о положении страны он предложил 120 миллионов долларов на программу, чтобы обслужить примерно 200 000 детей из неблагополучных семей. Однако, когда финансирование проекта было одобрено Конгрессом США , была утверждена лишь часть этой суммы — всего 15 миллионов долларов. Это потребовало изменения стратегии Управления экономических возможностей (OEO), правительственного агентства, отвечающего за надзор за программой. Вместо этого администраторы программы приняли «блестящее решение... преобразовать Follow Through из программы обслуживания в программу исследований и разработок».

Организаторы проекта «Follow Through» считали, что они отвечают на важную проблему в образовании учащихся из малообеспеченных семей. Обычно предполагалось, что простое предоставление конкретной поддержки в форме федеральных компенсационных программ, таких как Head Start и Раздел I Закона о начальном и среднем образовании , приведет к увеличению успеваемости детей из неблагополучных семей, если будет добросовестно реализовываться преданными своему делу учителями. . Однако исследования показали, что, несмотря на успехи, в целом любые успехи, достигнутые детьми в рамках программы Head Start (по показателям успеваемости), «сходят на нет» в течение первых нескольких лет обучения в начальной школе . Политикам и другим лицам было неясно, является ли причиной этого явления сам опыт начальной школы или проблема заключается в конкретных подходах к обучению в школах. Программа Follow Through была призвана решить проблему путем определения того, какие общешкольные подходы к учебной программе и обучению сработали, а какие нет. Впоследствии правительство должно было обнародовать эффективные модели как образцы инновационных и проверенных методов повышения академической успеваемости студентов, исторически находящихся в неблагоприятном положении.

Социально-политический контекст

Задуманная и реализованная в разгар кампании президента Джонсона « Война с бедностью» в 1960-х годах, программа Follow Through «возникла из более масштабного плана, который пытался изложить причины и методы лечения бедности в американском обществе на системной основе». Помимо знаменательного Закона о начальном и среднем образовании 1965 года , другие инициативы включали экономическую политику, направленную на поддержание высокого уровня занятости, и субсидируемую из федерального бюджета профессиональную подготовку, специально ориентированную на людей из неблагополучных семей. Эти программы реализовывались в бурную эпоху 1960-х и 1970-х годов; отмечен борьбой и возможным предоставлением избирательных прав ряду ранее исключенных групп населения, «включая афроамериканцев , феминисток , выходцев из Латинской Америки , коренных американцев и родителей детей -инвалидов ».

Планируемый вариант

В типичных научных экспериментах экспериментальная и контрольная группы выбираются случайным образом. Поскольку «Follow Through» представлял собой эксперимент, предназначенный для оценки эффективности ряда вмешательств в местных округах, округа выбрали те вмешательства, которые они хотели реализовать в своих школах. Этот метод выбора желаемого вмешательства среди нескольких кандидатов называется запланированной вариацией. В одной публикации это называется «случайной инновацией». Считалось, что запланированное изменение имеет преимущество перед случайным распределением, поскольку оно дает местным сообществам (например, членам сообщества, родителям, администраторам и учителям) элемент местного контроля над реализацией их программы. Фактически, Хилл считал, что такие программы, как Follow Through , «могут быть... постоянными источниками пропагандистского давления от имени целей и бенефициаров федеральных программ».

Цели

Программа Follow Through , как и Head Start , имела огромные масштабы и была призвана исправить тот факт, что «бедные дети, как правило, плохо учатся в школе». Несмотря на сокращение финансирования, он, тем не менее, обслужил значительное количество студентов. На пике своего развития программа будет охватывать 20 различных спонсируемых мероприятий и около 352 000 детей для последующего и сравнения в 178 проектах по всей стране.

Помимо выявления наиболее эффективных методов обучения и их распространения в школах и округах, предполагалось, что Follow Through поможет сократить количество потенциально конфликтующих федеральных программ вмешательства в школах, которые некоторые считали контрпродуктивными и дорогостоящими. Более того, если бы можно было определить модели, которые были бы эффективны для нуждающихся детей, эти вмешательства можно было бы проводить и в обычных учебных классах.

Администрирование программы

Поскольку программа Follow Through возникла в результате исполнительных, а не законодательных действий, общий контроль над программой находился в Управлении экономических возможностей Джонсона (OEO), которое возглавило политику Джонсона «Война с бедностью». Основным компонентом этой политики было участие общественности. Программе действий сообщества (CAP) было поручено выполнить эту функцию путем создания местных агентств и программ, которые выполняли различные спонсируемые федеральным правительством инициативы для обездоленных групп населения. Однако CAP (и, в некоторой степени, OEO) приобрели дурную славу среди законодателей и других лиц, поскольку «это привело к политической мобилизации бедных слоев населения и подрыву деятельности местных правительственных учреждений». Программа Follow Through была задумана как продолжение программы действий сообщества Head Start . Поскольку Head Start был политически популярен, программа, связанная с Head Start, вернет OEO «вновь в благосклонность Конгресса». Хотя Follow Through , как и Head Start , изначально задумывался как программа социальных действий, решение превратить Follow Through из программы социальных действий в социальный эксперимент не было соответствующим образом изменено в законодательстве Конгресса.

Сотрудники Head Start продолжали участвовать в разработке и реализации Follow Through , хотя казалось, что они работали отдельно от группы планирования OEO, которая рассматривала Follow Through как эмпирическое исследование. Многое из того, что происходило на этапе планирования, который Эгберт описывает как «время спешки и путаницы», было попыткой удовлетворить интересы сторонников обеих точек зрения.

Споры о цели

Во многом из-за социокультурного контекста, в котором родилась программа Follow Through , разработчики намеренно структурировали программу так, чтобы свести к минимуму участие федеральных чиновников в усилиях по ее реализации. Чем больше «Follow Through» будет восприниматься как усилие, контролируемое на местном уровне, тем лучше. OEO «идеалистически» надеялось, что Follow Through сможет удовлетворить как эмпирические, так и социальные цели.

Кажется сомнительным, что любая форма эксперимента могла бы реалистично и верно служить обеим целям. По словам Хилла, настоящие оценщики программ должны быть «техническими, а не политическими или программными, а их отношение должно быть скептическим и беспристрастным». Группа планирования OEO хотела провести настоящее эмпирическое исследование, которое позволило бы определить наиболее эффективные модели. CAP и Head Start И наоборот, сотрудники , консультирующие планировщиков Follow Through, рассматривали ее как социальную программу. Таким образом, «ни одна из составляющих групп не была полностью удовлетворена этим решением».

Спонсоры и модели

Помимо того, что у планировщиков Follow Through были противоречивые взгляды на реальную цель программы, выбор спонсоров был столь же неточным. Спонсоры Follow Through представляли собой разнородную смесь отдельных лиц или групп, проводивших исследования в области методов обучения. Некоторые прибыли из университетов, в том числе педагогических школ . Другие участвовали в частных исследованиях или исследованиях на основе грантов. Метод отбора был неясен. По словам Уоткинса, «приглашения, очевидно, были направлены любой группе, проводившей исследования в области методов обучения».

У некоторых спонсоров были довольно хорошо развитые методы, основанные на теориях обучения. У других просто были идеи относительно того, что может представлять собой эффективное вмешательство. Спонсоры также сильно разошлись во мнениях относительно результатов, которые они ожидали от своих программ. У некоторых спонсоров были очень конкретные цели, которые, по их мнению, приведут к очень конкретным результатам, таким как повышение навыков грамотности в отношении показателей успеваемости по чтению. У других были более общие цели, такие как повышение самооценки или более активное участие родителей в школьном обучении. Большинство программ находились на очень ранней стадии разработки и не подвергались обширным (или хотя бы умеренным) полевым испытаниям или пилотированию. Некоторые программы были настолько двусмысленными, что Элмор писал, что «большинству разработчиков программ просто не было ясно, как на самом деле будут выглядеть их программы в полностью работоспособном виде». Многие спонсоры не смогли точно объяснить, какие аспекты их моделей приведут к достижению заявленных конечных целей модели.

Несмотря на двусмысленность среди многих моделей (и мельчайшие различия между некоторыми моделями), литература Follow Through классифицирует модели в соответствии со степенью структурированности, которую они предлагают, и тем, где они делают упор на обучение.

«Степень структурированности» (например, «низкая», «средняя» или «высокая»), предлагаемая конкретной моделью, подтверждается тем, насколько строго учителя были проинструктированы о соблюдении определенных процедур, включая: способы организации классной комнаты и проведения обучения. , степень взаимодействия взрослых и детей, уровень участия родителей и так далее. Ниже приведены краткие примеры двух моделей, представляющих крайние точки спектра.

Модель прямого обучения . разработанное Зигфридом Энгельманном и Уэсли Беккером из Университета Орегона , Прямое обучение, составляется по сценарию и точно определяет, что говорит учитель и каковы должны быть ответы учащихся. Более того, разработчики программы тщательно выстроили последовательность обучения, чтобы учащиеся не переходили к навыкам более высокого уровня, пока они не овладеют необходимыми базовыми навыками. Между учителями и учениками существует высокая степень взаимодействия, поэтому учитель может постоянно получать обратную связь о том, насколько хорошо успевают ученики, и соответствующим образом корректировать обучение. В программе проводится особое различие между поведением во время выполнения задания и вне его: обучение организовано таким образом, что учащиеся большую часть времени полностью вовлечены в обучение (посредством частой проверки понимания и похвалы со стороны учителя). По мнению спонсоров программы, все, чему предположительно должны научиться учащиеся, сначала должно быть преподано учителем.

Модель Бэнк Стрит . Модель Бэнк-стрит была разработана Элизабет Гилкерсон и Гербертом Зимилсом из Педагогического колледжа Бэнк-стрит в Нью-Йорке. В этой модели учащиеся сами руководят обучением: они выбирают, какими задачами они хотят заниматься, в одиночку или со сверстниками. Учитель организует класс таким образом, чтобы, по мнению спонсоров, создать условия для успешного обучения: детям доступны различные предметы и средства взаимодействия, а учитель выступает в роли посредника, направляя учащихся в ходе занятий. По словам спонсоров программы, студенты используют ранее полученные знания для построения новых знаний. По мнению спонсоров, в безопасной и стабильной среде обучение — это процесс, который происходит естественным образом.

В своей оценке операционных аспектов Follow Through Элмор выразил обеспокоенность тем, что различия между моделями с точки зрения структуры делают сравнение и окончательный анализ моделей проблематичными. Описания мероприятий предоставлены самими спонсорами. Другого надежного источника, из которого администраторы программы могли бы получить информацию о них, не было. Если бы они могли увидеть примеры реализации различных моделей, они, возможно, смогли бы задать уточняющие вопросы, чтобы лучше различать их, что могло бы быть важно для целей оценки.

Модели программ также были классифицированы по тому, где в них делается акцент на обучении, в соответствии с тремя образовательными ориентациями: базовые навыки, когнитивные концептуальные навыки и аффективное/когнитивное поведение (см. также Приложение А).

• Модели базовых навыков. Занимаются в первую очередь обучением базовым навыкам (например, «элементарным навыкам словарного запаса, арифметическим вычислениям, правописанию и языку»).
• Модели когнитивных концептуальных навыков. Особое внимание уделяется так называемым «навыкам мышления более высокого порядка» и навыкам решения проблем.
• Модели аффективных/когнитивных навыков. Ориентированы на аффект учащихся (т. е. самооценку), исходя из предпосылки, что чувство положительной самооценки приводит к успеху в когнитивных навыках.

Несмотря на различия, между всеми спонсорами были точки зрения. Спонсоры согласились, что их вмешательства должны соответствовать уровню развития, то есть модели учитывают, на каком этапе развития находятся учащиеся. Во-вторых, все согласились с тем, что преподавание и обучение должны отвечать потребностям отдельных учащихся. В-третьих, они согласились, что все учащиеся – даже из самых неблагополучных слоев общества – могут учиться на уровне своих более удачливых сверстников. В-четвертых, следует подчеркнуть процедуры управления классом, которые создают соответствующую среду обучения. В-пятых, школа должна быть местом, где учащиеся испытывают как высокую самооценку, так и академические успехи. По иронии судьбы, последний пункт соглашения – с точки зрения Маккоби и Зеллнера – заключался в том, что все вмешательства должны иметь очень четкие цели в отношении содержания и навыков, которые учащиеся должны знать и уметь выполнять. Эту последнюю деталь стоит отметить по двум причинам. Во-первых, цели программы, поставленные спонсорами, оказались относительно широкими. Например, спонсоры Тусонской модели раннего образования объясняют, что «относительно меньше внимания уделяется тому, какие предметы преподаются, и передаче конкретного содержания, и больше внимания уделяется« обучению обучению »». Аналогичным образом, преподаватели когнитивной учебной программы разрабатывают свои собственные подходы к обучению (включая определение целей обучения) при помощи спонсоров и коллег. » отсутствует то, как именно учащиеся демонстрируют эти навыки Хотя конечные цели обычно можно охарактеризовать как высокий уровень академической успеваемости или овладение базовыми навыками мышления и навыками более высокого порядка, в литературе «Последующие действия . Во время встреч спонсоров между некоторыми спонсорами возникло несколько жарких споров о степени специфичности, с которой им следует связывать аспекты своих моделей с успеваемостью или поведением учащихся. Администраторы Follow Through не могли более тщательно исследовать модели из-за ограниченности времени; действительно, всего восемь месяцев отделили выбор спонсируемого модельного подхода и начало эксперимента. Поскольку Конгресс уже сократил программный бюджет, у разработчиков были обоснованные опасения, что задержка в реализации может иметь катастрофические последствия для программы. Другой реальностью было просто отсутствие альтернативных мер вмешательства. Поскольку столь масштабный эксперимент в образовании никогда раньше не проводился, у Управления образования не было арсенала мер, которые можно было бы опробовать.

Выбор сообществ

Выбор мест для последующей реализации осуществлялся одновременно с выбором моделей. При содействии различных государственных и федеральных агентств образования 100 общинам было предложено подать заявку на участие в программе на основе критериев, установленных OEO. По словам Эгберта, заявки подали 90 округов, из которых 30 были выбраны для участия в Follow Through . Однако из-за давления со стороны влиятельных политиков позже были добавлены дополнительные сайты. Не случайно включение нескольких дополнительных округов, похоже, было попыткой удовлетворить ряд местных политических деятелей, включив их общины в программу.

Хотя Элмор сетует на то, что места могли быть выбраны с большей степенью научной строгости (например, стратифицированная случайная выборка), это было невозможно, по крайней мере, по двум причинам. Во-первых, администраторы Follow Through были обязаны выбрать минимальное количество сайтов с программами Head Start , поскольку якобы цель Follow Through заключалась в дополнении Head Start . Во-вторых, помимо политического давления, сообщества должны были быть готовыми участвовать в процессе (якобы) для сохранения точности реализации. В этом вопросе Элмор склонен согласиться.

Измерительные приборы

Из-за разнообразия моделей был выбран широкий спектр инструментов и аналитических методов для измерения целевых результатов базовых навыков, аффективного и когнитивного поведения. Адамс и Энгельманн писали: «Хотя критики жаловались на выбор тестов и обычно предлагали проводить больше тестов, усилия по оценке в этом исследовании вышли далеко за рамки любого другого образовательного исследования, проведенного до или после». Всего было выбрано 14 инструментов, которые использовались в разное время на протяжении всего периода участия студента в Follow Through . За тремя группами учащихся, известными как когорты (т.е. когорты I, II и III), наблюдали в течение длительного времени с момента их поступления в программу Follow Through (например, детский сад или 1-й класс) до момента их выхода из программы (3-й класс). Хотя авторы отчета Follow Through оценили инструменты как имеющие высокую надежность, некоторые спонсоры поставили под сомнение достоверность инструментов при измерении различных ориентаций моделей. Другие критики, такие как Хаус и др. в анализе, финансируемом и широко распространяемом Фондом Форда , также раскритиковал эти инструменты. Однако оценщики полагали, что аккумуляторная батарея прибора представляет собой «лучший компромисс» с учетом разнообразия моделей. Несмотря на относительно большое количество студентов, принявших участие в Follow Through , оценщики наложили строгие ограничения на выборку, которая фактически находилась в статистическом анализе. Группа сравнения — учащиеся из сообщества, не участвовавшие в программе « Follow Through» , — не подвергалась точно таким же ограничениям, что и контрольная группа, при условии, что они входили и выходили из школы в тех же округах и в то же время, что и «Follow Through» учащиеся . .

Аналитические методы

Из-за количества мест вмешательства и набора инструментов анализ был сложным и обширным. По словам Уоткинса, только между группами «Следование» и «Не- Следование» было проведено более 2000 сравнений . В 1968 году Стэнфордский исследовательский институт (SRI) получил контракт на проведение последующей оценки. Однако из-за множества факторов (в том числе, возможно, из-за недооценки SRI сложности такого всестороннего анализа) летом 1972 года обязанности по оценке унаследовала компания Abt Associates, Inc.. Краткое изложение результатов, озаглавленное « Образование как экспериментирование» : Модель запланированных изменений была опубликована в 1977 году.

Эмпирическая цель оценки Follow Through заключалась в том, чтобы определить, какие модели оказались эффективными в повышении успеваемости учащихся в трех областях, о чем свидетельствует положительный эффект от использования выбранных инструментов. В рамках моделей оценщики сравнивали эффективность различных инструментов между группами сравнения «Следующее выполнение» (FT) и «Невыполнение » (NFT) на каждом объекте. Внутри групп оценщики усредняли баллы учащихся по каждому показателю (или переменной результата), чтобы получить «групповой» балл. Таким образом, групповые баллы студентов FT сравнивались с групповыми баллами студентов NFT. Оценщики использовали важный - а позже и спорный - метод статистической корректировки, чтобы «улучшить достоверность результатов». Поскольку между группой лечения и группой сравнения существовали различия (например, средний балл по показателю результата для группы NFT мог быть выше, чем соответствующий средний балл для группы FT), оценщики использовали статистический метод, известный как ковариационный анализ (ANCOVA) для учета этих и других различий. Разница между студентами FT и NFT затем использовалась для измерения эффекта данной модели. Сайтам, модели которых соответствовали критерию «образовательная эффективность», было присвоено значение 1; отрицательным эффектам было присвоено -1; а нулевым эффектам — «незначительным с точки зрения образования, статистики или того и другого» — был присвоен ноль. По мнению Элмора, скорректированные результаты с использованием метода ANCOVA следует интерпретировать осторожно по двум причинам. Во-первых, ANCOVA «не заменяет случайное распределение, но стала общепринятым методом обработки начальных групповых различий в квазиэкспериментальных данных». Во-вторых, чем больше первоначальные различия между экспериментальной и контрольной группами, тем слабее сила результатов.

Результаты

Результаты Follow Through не показали, как можно улучшить модели, которые показали незначительный эффект или вообще не показали его вообще. Но они показали, какие модели — как предполагали далеко не идеальные условия эксперимента — имели некоторые признаки успеха. Из этих моделей Зигфрида Энгельмана продемонстрировал метод прямого обучения самые высокие результаты в сравнительном исследовании. Самая заметная критика Follow Through (подробно описанная ниже) оспаривает тот факт, что модели, показавшие положительный эффект, в основном были моделями базовых навыков. Abt Associates выявила пять основных выводов, связанных с вопросом эффективности дифференциальной модели; Основные эмпирические результаты эксперимента были представлены следующим образом:

• «Эффективность каждой модели Follow Through существенно различалась от группы объектов к группе объектов»
• «Модели, которые подчеркивают базовые навыки, лучше, чем другие модели, помогают детям приобрести эти навыки» (стр. xxv)
• «Там, где модели уделяли основное внимание не базовым навыкам, дети, которых они обслуживали, имели тенденцию набирать более низкие баллы в тестах на эти навыки, чем они получили бы без Follow Through » (стр. xxvi).
• «Ни один тип модели не оказался более успешным, чем другие, в повышении баллов по когнитивным концептуальным навыкам» (стр. xxvi).
• «Модели, в которых упор делается на базовые навыки, показали лучшие результаты в тестах на самооценку, чем другие модели» (стр. xxvi).
• В той степени, в которой дети «Follow Through» «догнали» своих сверстников в арифметических навыках, они, как правило, делали это в течение первых двух лет своего участия в программе» (стр. xxvii).
• « Проведение метода Follow Through было относительно эффективным в отношении наиболее обездоленных детей, которым оно служило» (стр. xxviii)

В отдельном анализе изучалось влияние метода прямого обучения Зигфрида Энгельмана на учащихся на протяжении нескольких десятилетий. Этот анализ показал долгосрочную выгоду.

Критика

Вислер и др . в своем обзоре опыта Follow Through написали, что, скорее всего, никакие другие данные об образовании не изучались более подробно, за исключением исследования равенства образовательных возможностей. по крайней мере три основные переоценки данных Follow Through В литературе существуют : House, et al. (1978); Берейтер и Курляндия (1981); и Кеннеди (1981). Все они во многом подтверждают первоначальный статистический анализ, проведенный Abt Associates. В целом большинство исследователей сходятся во мнении, что структурированные модели, как правило, работают лучше, чем неструктурированные. и что модели прямого обучения и анализа поведения работали лучше на используемых инструментах, чем другие модели. ) Большинство критиков эксперимента Follow Through , как правило, сосредотачивались на эксплуатационных и проектных проблемах, которые преследовали эксперимент. В частности, в этой критике отмечается, что внутри конкретной модели было больше различий, чем от модели к модели. Эту проблему во многом объясняют проблемой измерения эффективности конкретной реализации; использованные показатели были в основном качественными и неофициальными. В некоторых случаях в анализ включались сайты, которые перестали реализовывать конкретные модели, или у спонсоров модели были серьезные сомнения относительно способа реализации конкретных моделей.

Самой громкой критикой была Палата представителей и др. (1978) повторный анализ. Статья вместе с несколькими опровержениями первоначальной группы оценки и других исследователей была опубликована Harvard Educational Review в 1978 году. Авторы были крайне недовольны заявлением оценщиков о том, что модели базовых навыков превосходят другие модели. Авторы подходят к критике, исходя из предположения, что базовые навыки, безусловно, являются именно базовыми. Авторы подразумевают, что базовым навыкам обучают только «механическим методом» — явно негативный смысл (стр. 137).

Что касается вывода о том, что «модели, в которых упор делается на базовые навыки, дали лучшие результаты в тестах на самооценку, чем другие модели», авторы подвергают сомнению эффективность измерений самооценки; подразумевая, среди прочего, что молодые студенты не могут иметь конкретного понимания самооценки (стр. 138–139). Хотя цель статьи заключалась в обзоре операционной схемы последующей оценки, вместо этого она, по-видимому, (1) опровергает вывод о том, что когнитивно-концептуальные и аффективно-когнитивные модели в большинстве случаев оказались неудачными, и (2) в одностороннем порядке осуждает модели, которые подчеркивают базовые навыки. . Подразумевается, что целью образования не должно быть повышение успеваемости учащихся только в базовых навыках, и что метод Follow Through лучше использовать для выявления того, как меры всех трех направлений могут быть успешными. В критике отсутствует вывод о том, что для третьеклассников только модель прямого обучения продемонстрировала положительные эффекты во всех трех областях, и что одна из оставшихся двух моделей (анализ поведения; другая была моделью обучения родителей) имела положительные эффекты. по крайней мере в двух областях также была самопровозглашенная «модель базовых навыков».

Распространение

В 1972 году OE создало Совместную группу по обзору распространения (JDRP) и Национальную сеть распространения (NDN) для распространения информации об эффективных моделях в школах и округах по всей стране. JDRP проверял эффективность программ на основе сочетания эмпирических и целостных критериев. NDN отвечала за распространение результатов на основе рекомендаций JDRP. Уоткинс (1997) критикует критерии распространения по двум причинам. Во-первых, организации определили программы для распространения, которые не были частью эксперимента Follow Through и для которых не было эмпирической проверки. Во-вторых, JDRP и NDN одобрили программы, которые показали улучшение в таких областях, «таких как самооценка, отношение, психическое или физическое здоровье (студентов)… (или) если это оказывает положительное влияние на людей, не являющихся студентами, например если это приведет к улучшению учебного поведения учителей» (с. 47), но не повысит успеваемость учащихся. Таким образом, программы, «которые были неспособны продемонстрировать улучшение успеваемости в ходе последующей оценки», были рекомендованы для принятия школами и округами. Уоткинс цитирует бывшего комиссара по образованию Эрнеста Бойера, который с тревогой писал: «Поскольку было обнаружено, что только один из спонсоров (Прямое обучение) дает положительные результаты более последовательно, чем любой другой, было бы неуместно и безответственно распространять информацию». на всех моделях».

Конечно, было бы идеально иметь такую ​​же убедительность, как и лабораторные эксперименты, когда мы проводим социальные эксперименты в сообществах и школах. Энди Б. Андерсон (1975) писал, что «идея контролируемого эксперимента уже давно признана целью, которую стоит преследовать в социальных и поведенческих науках по той же очевидной причине, которая сделала этот метод исследования преобладающей исследовательской стратегией естественных и поведенческих наук». физические науки: контролируемый эксперимент позволяет наиболее однозначно оценить влияние одной переменной на другую переменную». В частности, когда экспериментирование используется в качестве инструмента для информирования политических решений (например, при рекомендации эффективности некоторых подходов к обучению для учащихся из неблагополучных семей по сравнению с другими, менее эффективными мерами), дизайн должен быть максимально строгим. По ряду причин Follow Through не обладал классическими характеристиками настоящего эксперимента.

Критика

Отсутствие систематического выбора вмешательств и отсутствие специфичности эффектов лечения . Из-за множества обстоятельств, описанных ранее, программы Follow Through не разрабатывались систематически и не отбирались в соответствии с какими-либо едиными критериями. Имея больше времени, спонсоры, возможно, смогли бы лучше определить типы эффектов лечения, которые наблюдатель мог бы ожидать в контролируемых условиях. Что еще более важно, от спонсоров программы также могли бы потребовать продемонстрировать те конкретные аспекты своих вмешательств (например, конкретные педагогические методы), которые дадут желаемый эффект. Несмотря на эти недостатки, спонсоры согласились использовать одни и те же инструменты оценки. К сожалению, эти инструменты мало что проливают света на то, почему неэффективные программы сделали их такими неудачными. Обратное также верно. Поскольку структурированные программы, как правило, показывали лучший эффект, чем неструктурированные, было бы логично попытаться выявить общие черты между эффективными структурированными программами. Эти общие характеристики могли бы способствовать разработке дополнительных эффективных программ или улучшить неэффективные подходы. Начиная с 1982 года финансирование было фактически сокращено для тех программ, которые были признаны успешными в Follow Through , возможно, исходя из того, что финансирование лучше направить на помощь провалившимся программам. В конечном итоге программы, прошедшие меньшую эмпирическую проверку, тем не менее, были рекомендованы для распространения наряду с успешными моделями.

Отсутствие случайного назначения . Случайное распределение субъектов в экспериментальную и контрольную группы является идеальным методом объяснения изменений в выборке вмешательством, а не каким-либо другим эффектом (включая ранее существовавшие возможности учащихся, учителей или школьной системы). Однако по ряду практических причин эта процедура не была выполнена в Follow Through . Вместо этого места были выбраны «случайно». на основе их готовности участвовать в оценке и их уникальных обстоятельств необходимости. Как Стеббинс и др. Следует отметить, что в лечебных группах часто оказывались самые нуждающиеся дети. Случайный выбор некоторых из наиболее обездоленных детей (многие из которых участвовали в программе «Head Start» до « Follow Through ») из оценки, безусловно, был бы негативно воспринят членами сообщества. Стеббинс и др. отметить, что существовали «значительные различия в спектре обслуживаемых детей»; тем не менее, несмотря на наличие «многих проблем, присущих полевым социальным исследованиям... оценка этих запланированных вариантов дает нам возможность изучить образовательные стратегии в условиях реальной жизни, а не в надуманных и жестко контролируемых лабораторных условиях».

Узость инструментов . следует использовать больше инструментов Адамс и Энгельманн отмечают, что многие критики полагают, что при оценке «Проведение до конца» . Эгберт согласен с Адамсом и Энгельманном в том, что усилия по сбору данных были обширными. Несмотря на соглашение между спонсорами моделей о едином наборе инструментов для оценки эффективности их моделей, спонсоры моделей считали, что их программы достигают успехов по более внутренним, менее измеримым показателям эффективности, таким как повышение самооценки или более активное участие родителей. В той степени, в которой эти желаемые результаты имели место и приносили пользу жизням студентов способами, которые никогда не могли быть измерены количественными методами, эти аспекты многих моделей были успешными. И Палата представителей и др. критика и другие (цит. по Wisler самооценки ) выражают обеспокоенность по поводу неадекватности инструментов, используемых для измерения (т. е. шкалы ответственности за интеллектуальные достижения (IARS) и опросника самооценки Куперсмита). Но, по мнению многих исследователей, лучше измерять результаты несовершенно, чем не измерять их вообще. Таким образом, хотя «идеальные» меры желаемых результатов могут никогда не существовать, не следует допускать, чтобы идеальное было врагом хорошего. Другими словами, можно вообще поставить под сомнение эффективность проведения любого эксперимента на том основании, что какая-то предвзятость или существует несовершенство.

Было ли Follow Through социальной или научной программой? По истечении первоначального периода новые правила требовали, чтобы 80 процентов финансирования Follow Through было выделено на предоставление услуг, а 20 процентов должно было использоваться для производства знаний. Сами правила предполагают, что Follow Through представляла собой «образовательную программу, финансируемую из федерального бюджета и содержащую встроенный исследовательский компонент». Неизбежный конфликт возникает, когда кто-то пытается ввести в действие федеральную программу в области образования, которая преследует как цели предоставления услуг, так и цели исследований и разработок. Ривлин и др. отмечают, что «невероятная сложность процесса выработки государственной политики чрезвычайно затрудняет проведение социальных экспериментов». Учитывая сокращение финансирования, решение предпринять попытку оценить эффективность различных вмешательств в эмпирическом эксперименте кажется уместным и простым. Однако, если изменение не отражено в законодательстве Конгресса или не доведено до сведения ясного уровня на местном уровне, неизбежно возникают проблемы с его реализацией и конфликт с глубоко укоренившимися ценностями. Существует множество свидетельств, указывающих на путаницу в отношении цели последующей оценки на административном уровне.

Вопросы местного контроля. Аспект запланированных вариаций « Follow Through» считался полезным — а возможно, и превосходящим — по сравнению с другими формами экспериментирования (например, выбором участков на основе случайного распределения), поскольку он давал местным сообществам и школам элемент собственности, неотъемлемый для успешной реализации модели. Несмотря на запланированный вариант проекта, местные сообщества на многих объектах, тем не менее, резко критиковали программу. В некотором смысле критика « Follow Through» предшествовала непосредственно «Head Start». Якобы цель и задачи социального обслуживания программы Head Start были более ясными, чем цели и задачи программы Follow Through . Тем не менее, лидеры сообщества считали, что программа Head Start не наделяет родителей и членов сообщества достаточной ответственностью за принятие решений. Местные интересы хотели принимать решения по учебным программам, включая изменение аспектов некоторых программных моделей. Эванс предупредил, что «образовательные сообщества и контекст различаются», что может иметь прямое влияние на реализацию модели. Однако более проблематичным является вариант Элмора. и Хиллс утверждения о том, что модели Follow Through мешают местным методам и практике преподавания. Как пишет Элмор, «для Follow Through проблема заключалась в том, как реализовать варианты программы в системе, где большинство повседневных решений о содержании программы принимается на уровне школы или класса». Рейн и др. предполагают, что трудно заставить учителей изменить свое поведение. И если цель изменения поведения достигнута, учителя не чувствуют себя заинтересованными в этой модели, а это явно сомнительная инвестиция. Что неизбежно происходит, так это то, что учителя полностью отвергают программы, в то время как другие «подчиняются программе».

«Дихотомия факт-ценность» . Эрнест Р. Хаус , соавтор критики оценки Follow Through в 1978 году , написал статью о том, что он называет « дихотомией факт-ценность » в социальных экспериментах и ​​образовательных исследованиях: «вера в то, что факты относятся к одной вещи и ценностям». относятся к чему-то совершенно другому». Хаус разъясняет труды Дональда Кэмпбелла, исследователя в области оценки. Хаус отметил, что, по мнению Кэмпбелла, факты не могут существовать вне рамок чьих-либо ценностей, поскольку неизбежно расследование, раскрывающее определенный факт, либо согласуется с внутренними ценностями исследователя, либо противоречит им. В результате возникает трудный выбор: исследователь должен либо отвергнуть факт, либо изменить свою ценность, чтобы учесть этот факт. По словам Хауса, Кэмпбелл также считал, что ценности – в отличие от фактов – могут быть выбраны рационально. Хаус частично согласен с утверждением Кэмпбелла, но отходит от Кэмпбелла в том смысле, что он считает, что факты и ценности не могут существовать изолированно; скорее, они «сливаются воедино в выводах оценочных исследований и, действительно, смешиваются во всех оценочных исследованиях». Хаус предполагает, что читатель представляет факты и ценности как существующие в континууме от «простых фактов до голых ценностей». Соответственно, редко «заявления о фактах» или «заявления о ценности» полностью попадают на тот или иной конец спектра. Хаус приводит примеры: фраза «Бриллианты тверже стали» может оказаться в левой части спектра, а фраза «Каберне лучше, чем Шардоне» — в правой. В заключение Хаус предлагает совершенно новый метод эмпирического исследования, называемый «совещательной демократической оценкой». В нем оценщики приходят к «непредвзятым утверждениям» посредством «включения в исследование всех соответствующих точек зрения, ценностей и интересов заинтересованных сторон; обширного диалога между оценщиком и заинтересованными сторонами... и обширного обсуждения для достижения обоснованных выводов в исследовании». Хаус осуждает использование полностью рациональных методов при оценке; действительно, он рекомендует определенную степень субъективности, поскольку такие оценки, как « Следовать до конца», не могут существовать вне глубоко укоренившихся ценностей.

Хилл пишет: «На местном уровне редко встретишь человека, чья приверженность навязанным извне учебным инновациям, процессу планирования или схеме финансового управления спонтанно вытекает из глубоко укоренившихся личных ценностей». Хаус утверждает, что все решения, вытекающие из оценок в сфере образования, являются результатом компромисса. Уоткинс утверждает, что «Проведение через» привело к столкновению ценностей, основанных на различных представлениях о том, как учатся дети, которые можно свести к теориям «естественного роста» или «развертывания». теории «изменения поведения». Уоткинс утверждает, что сегодня большинство экспертов в области образования оценивают программы не по их относительной эффективности для различных групп учащихся, а скорее по их «соответствию преобладающей философии образования».