✖


Jump to content

Моделирование с добавленной стоимостью

Моделирование добавленной стоимости (также известное как измерение добавленной стоимости , анализ добавленной стоимости и оценка добавленной стоимости ) — это метод оценки учителя, который измеряет вклад учителя в данный год путем сравнения текущих результатов тестов его учеников с оценками. тех же учеников в предыдущие учебные годы, а также к оценкам других учащихся того же класса. Таким образом, моделирование добавленной стоимости направлено на то, чтобы выделить вклад или добавленную стоимость , которую каждый учитель вносит в данный год, которую можно сравнить с показателями эффективности других учителей. VAM считаются более справедливыми, чем простое сравнение успеваемости учащихся или результатов успеваемости без учета потенциально искажающих переменных контекста, таких как прошлые достижения или доход. Этот подход также можно использовать для оценки добавленной стоимости директора школы или школы в целом.

Критики говорят, что использование тестов для оценки отдельных учителей не было научно обосновано, и большая часть результатов обусловлена ​​случайностью или условиями, не зависящими от учителя, например, внешним репетиторством. [1] Однако исследования показывают, что различия в эффективности учителей, измеряемой добавленной стоимостью учителей, связаны с небольшим экономическим эффектом для учащихся. [2]

Метод

[ редактировать ]

Исследователи используют статистические процессы на основе результатов прошлых тестов учащегося, чтобы предсказать будущие результаты тестов учащегося, исходя из предположения, что учащиеся обычно каждый год набирают примерно такие же хорошие результаты, как и в прошлые годы. Затем фактический балл учащегося сравнивается с прогнозируемым баллом. Предполагается, что разница между прогнозируемыми и фактическими баллами, если таковая имеется, обусловлена ​​учителем и школой, а не природными способностями учащегося или социально-экономическими обстоятельствами.

Таким образом, моделирование с добавленной стоимостью пытается изолировать вклад учителя от факторов, находящихся вне контроля учителя, которые, как известно, сильно влияют на результаты тестов учащихся, включая общий интеллект ученика , бедность и участие родителей.

Объединив все эти индивидуальные результаты, статистики могут определить, насколько конкретный учитель улучшает успеваемость учащихся по сравнению с тем, насколько обычный учитель улучшил бы успеваемость учащихся.

Статистики используют иерархическое линейное моделирование , чтобы предсказать балл конкретного учащегося в конкретном классе в данной школе. Этот прогноз основан на совокупных результатах всех учащихся. Прогнозируемый балл каждого учащегося может учитывать уровень учащегося (например, прошлую успеваемость, социально-экономический статус, расовую/этническую принадлежность), уровень учителя (например, сертификация, многолетний опыт, высшая полученная степень, практика преподавания, учебные материалы, учебная программа) и уровень школы. (например, размер, тип, настройка). Какие переменные включены, зависит от модели.

Использование

[ редактировать ]

По состоянию на 2010 год , несколько школьных округов по всей территории Соединенных Штатов приняли эту систему, в том числе государственные школы Чикаго , Департамент образования города Нью-Йорка и государственные школы округа Колумбия . Рейтинги использовались для принятия решений по вопросам удержания учителей и присуждения бонусов, а также в качестве инструмента для выявления тех учителей, которые больше всего выиграют от подготовки учителей. [1] В рамках программы «Гонка к вершине» и других программ, пропагандирующих более эффективные методы оценки работы учителей, округа обратились к моделированию добавленной стоимости в качестве дополнения к наблюдению за учителями в классах. [1]

Законодатель штата Луизиана Фрэнк А. Хоффманн представил законопроект, разрешающий использование методов моделирования с добавленной стоимостью в государственных школах штата в качестве средства поощрения сильных учителей и выявления успешных педагогических методов, а также предоставления средств для обеспечения дополнительного профессионального развития эти учителя были признаны более слабыми, чем другие. Несмотря на противодействие со стороны Федерации учителей Луизианы, законопроект был принят Сенатом штата Луизиана 26 мая 2010 года и немедленно подписан губернатором Бобби Джиндалом . [3]

Эксперты не рекомендуют использовать моделирование добавленной стоимости в качестве единственного фактора, определяющего любое решение. [4] Вместо этого они рекомендуют использовать его как важный фактор в многогранной программе оценки. [5]

Ограничения

[ редактировать ]

В рамках системы оценки , основанной на нормах , деятельность учителя сравнивается с результатами других учителей в выбранной группе сравнения. Поэтому можно использовать эту модель, чтобы сделать вывод, что учитель лучше, хуже или такой же, как типичный учитель, но невозможно использовать эту модель, чтобы определить, желателен ли данный уровень производительности.

Поскольку ожидаемый балл каждого учащегося во многом зависит от фактических результатов учащегося в предыдущие годы, трудно использовать эту модель для оценки учителей детского сада и первого класса. Некоторые исследования ограничивают использование модели учителями третьего класса и выше.

Школы могут оказаться не в состоянии получить предыдущие баллы новых учеников из бывших школ, или же эти баллы могут оказаться бесполезными из-за несопоставимости некоторых тестов. Школа с высоким уровнем текучести учащихся может столкнуться с трудностями при сборе достаточного количества данных для применения этой модели. Когда учащиеся меняют школу в середине года, их успехи в течение года зависят не только от их выпускных учителей.

Оценки добавленной стоимости более чувствительны к влиянию учителей по математике, чем по языку. [4] Это может быть связано с широким использованием плохо составленных тестов на чтение и языковые навыки, или это может быть связано с тем, что учителя в конечном итоге имеют меньше влияния на развитие речи. [4] Учащиеся осваивают языковые навыки из многих источников, особенно из своей семьи, тогда как математические навыки они изучают преимущественно в школе.

От года к году и от класса к классу оценки немного различаются. Это изменение похоже на показатели эффективности в других областях, таких как Высшая бейсбольная лига , и, таким образом, может отражать реальные, естественные различия в работе учителя. [4] Из-за этого различия результаты будут наиболее точными, если они получены от большого числа учащихся (обычно 50 или более). В результате сложно использовать эту модель для оценки учителей-первокурсников, особенно в начальной школе, поскольку они, возможно, обучали только 20 учеников. Рейтинг, основанный на одном классе, вероятно, позволит правильно классифицировать учителя примерно в 65% случаев. Это число возрастает до 88%, если доступны данные за десять лет. [6] Кроме того, поскольку доверительный интервал широк, этот метод наиболее надежен при выявлении учителей, которые постоянно входят в верхние или нижние 10%, вместо того, чтобы пытаться провести тонкие различия между учителями, которые демонстрируют более или менее типичные достижения, например, пытаясь определить следует ли оценивать учителя как немного выше или немного ниже медианы. [6]

Оценка добавленной стоимости предполагает, что учащиеся распределяются по учителям случайным образом. На самом деле учеников редко распределяют по учителям или школам случайным образом. По словам экономиста и профессора доктора Джесси М. Ротштейна из Калифорнийского университета в Беркли , «неслучайное распределение студентов по учителям может привести к искажению оценок добавленной стоимости причинных эффектов учителей». [7] Вопрос о возможной предвзятости при использовании показателей добавленной стоимости стал предметом обширных недавних исследований, и другие исследователи пришли к выводу, что показатели добавленной стоимости действительно обеспечивают хорошие оценки эффективности учителей. См., например, недавнюю работу проекта «Меры эффективного обучения». [8] и анализ того, как показатели добавленной стоимости связаны с будущими доходами, проведенный профессором Раджем Четти из Гарварда и его коллегами. [9]

Исследовать

[ редактировать ]

Впервые была предложена идея оценки эффективности учителей на основе успеваемости учащихся. [10] в исследовательскую литературу в 1971 году Эриком Ханушеком , [11] в настоящее время старший научный сотрудник консервативной [12] [13] [14] Институт Гувера — американский аналитический центр по вопросам государственной политики , расположенный в Стэнфордском университете в Калифорнии . Впоследствии его проанализировал, в частности, Ричард Мурнейн из Гарвардского университета. [15] Этот подход использовался в различных анализах для оценки различий в эффективности учителей в школах, и оценка показала большие и постоянные различия среди учителей в темпах обучения их учеников. [16]

Статистик Уильям Сандерс , старший менеджер по исследованиям в SAS, представил эту концепцию школьной деятельности, когда разработал модели добавленной стоимости для школьных округов в Северной Каролине и Теннесси . Впервые созданный в качестве инструмента оценки учителей для школьных программ в Теннесси в 1990-х годах, использование этого метода расширилось с принятием закона « Ни один ребенок не останется без внимания » в 2002 году. Основываясь на своем опыте и исследованиях, Сандерс утверждал, что «если вы используете строгие Используя надежные методы и окружив их средствами защиты, вы сможете надежно отличить высокоэффективных учителей от средних учителей и от неэффективных учителей». [1]

В исследовании 2003 года, проведенном корпорацией RAND для нью-йоркской корпорации Карнеги , говорится, что моделирование добавленной стоимости «дает возможность отделить влияние учителей и школ от мощного воздействия таких необразовательных факторов, как семейное происхождение». показали, что при использовании таких моделей наблюдаются большие различия в оценках учителей, что может сделать моделирование добавленной стоимости эффективным инструментом для оценки и вознаграждения работы учителей, если можно будет обосновать вариативность как связанную с работой отдельных учителей. [17]

Газета Los Angeles Times сообщила об использовании этой программы в школах этого города, создав веб-сайт с возможностью поиска, на котором были представлены оценки, рассчитанные с помощью системы моделирования добавленной стоимости для 6000 учителей начальной школы в округе. Министр образования США Арне Дункан похвалил репортажи газеты об оценках учителей, назвав их образцом повышенной прозрачности, хотя и отметил, что большая открытость должна быть сбалансирована с опасениями по поводу «конфиденциальности, справедливости и уважения к учителям». [1] В феврале 2011 года Дерек Бриггс и Бен Доминг из Национального центра образовательной политики (NEPC) опубликовали отчет, в котором повторно анализируется тот же набор данных из Объединенного школьного округа Лос-Анджелеса, пытаясь воспроизвести результаты, опубликованные в Times , и они обнаружили серьезные ограничения В предыдущем исследовании был сделан вывод о том, что «исследование, на которое опиралась газета Los Angeles Times при составлении отчета об эффективности учителей за август 2010 года, было явно недостаточным для поддержки опубликованных рейтингов». [18]

Фонд Билла и Мелинды Гейтс спонсирует многолетнее исследование моделирования добавленной стоимости в рамках своей программы «Показатели эффективного обучения». Первоначальные результаты, опубликованные в декабре 2010 года, показывают, что и моделирование добавленной стоимости, и восприятие учащимися некоторых ключевых качеств учителя, таких как контроль над классом и требовательность к ученикам при выполнении тщательной работы, правильно определяют эффективных учителей. [4] Исследование оценок учащихся было проведено Рональдом Фергюсоном . Исследование также показало, что учителя, которые преподают по тесту , гораздо менее эффективны и имеют значительно более низкие баллы за моделирование добавленной стоимости, чем учителя, которые способствуют глубокому концептуальному пониманию всей учебной программы. [4] Однако повторный анализ результатов отчета MET, проведенный Джесси Ротштейном, экономистом и профессором Калифорнийского университета в Беркли , оспаривает некоторые из этих интерпретаций. [19] Ротштейн утверждает, что анализ, представленный в отчете, не подтверждает выводы и что «истолкованы правильно... [они] подрывают, а не подтверждают подходы к оценке учителей, основанные на добавленной стоимости». [20] Однако более поздние работы проекта MET подтверждают использование подходов, основанных на добавленной стоимости. [8]

Руководители и лидеры

[ редактировать ]

Общая идея моделирования добавленной стоимости также была расширена и теперь включает в себя директоров и руководителей школ. Несмотря на то, что о важности школьных руководителей ведется обширная дискуссия, систематических исследований их влияния на успеваемость учащихся проведено очень мало. Недавний анализ, проведенный в Техасе, предоставил доказательства эффективности лидеров, наблюдая за тем, как прирост успеваемости учащихся в школе меняется после смены директора. Этот основанный на результатах подход к измерению эффективности директоров очень похож на моделирование добавленной стоимости, которое применялось к оценке учителей. Первые исследования в Техасе показали, что директора школ оказывают очень большое влияние на успеваемость учащихся. [21] По скромным оценкам, эффективный руководитель школы улучшает успеваемость всех учащихся в школе, причем величина, равная в среднем двухмесячному дополнительному приросту успеваемости для учащихся в каждом учебном году. Эти успехи, по крайней мере частично, достигаются благодаря влиянию директора на отбор и удержание хороших учителей. Однако неэффективные директора оказывают такое же большое негативное влияние на успеваемость в школе, что позволяет предположить, что вопросы оценки так же важны для школьного руководства, как и для учителей.

Критика и опасения

[ редактировать ]

В отчете, опубликованном Институтом экономической политики в августе 2010 года, признается, что «американские государственные школы, как правило, плохо справляются с систематической подготовкой и оценкой учителей», но выражается обеспокоенность тем, что использование результатов стандартизированных тестов в качестве инструмента измерения не приведет к повышению производительности. В отчете EPI рекомендуется, чтобы показатели успеваемости, основанные на результатах стандартизированных тестов, были одним из многих факторов, которые следует учитывать, чтобы «обеспечить более точное представление о том, что учителя на самом деле делают в классе и как это способствует обучению учащихся». В исследовании названо моделирование добавленной стоимости более справедливым средством сравнения учителей, которое позволяет лучше измерить образовательные методологии и общую успеваемость школы, но утверждается, что результаты тестов учащихся недостаточно надежны в качестве средства принятия «кадровых решений с высокими ставками». [22]

Эдвард Хертел, возглавлявший исследовательскую группу Института экономической политики, писал, что методологии, продвигаемые в рамках программы «Гонка к вершине», уделяют «слишком большое внимание показателям роста успеваемости учащихся, которые еще не были должным образом изучены для целей оценки учителей и директоров» и что методы моделирования добавленной стоимости необходимо более тщательно оценивать и использовать только «в тщательно изучаемых пилотных проектах». [1]

Исследователь образовательной политики Джеральд Брейси далее утверждал, что, возможно, корреляция между учителями и краткосрочными изменениями в результатах тестов может не иметь отношения к фактическому качеству преподавания. Следовательно, «он не может допускать причинно-следственных выводов об отдельных учителях. В лучшем случае это начальный шаг для выявления учителей, которым может потребоваться дополнительное профессиональное развитие». [23]

Американская статистическая ассоциация опубликовала 8 апреля 2014 года заявление, в котором критиковала использование моделей добавленной стоимости в оценке образования, не исключая при этом полезности таких моделей. ASA указало на ограничения входных данных, влияние факторов, не включенных в модели, и большие стандартные ошибки, приводящие к нестабильности годовых рейтингов. [24]

Джон Юинг в « Уведомлениях Американского математического общества» раскритиковал использование моделей добавленной стоимости в оценке образования как форму «математического запугивания» и «риторического оружия». Юинг указал на проблемы с входными данными и влияние факторов, не включенных в модель. [25]

Альтернативы

[ редактировать ]

Было реализовано несколько альтернативных вариантов оценки учителей:

  • Оценка учащихся . Если задавать проверенные вопросы, ученики даже четвероклассников могут точно определить эффективных учителей. [4] Оценки курсов являются обычным явлением в университетах, но редко играют более чем тривиальную роль при принятии решения о сохранении или увольнении преподавателя. [ нужна ссылка ]
  • Деятельность вне класса : Часть оценки учителя обычно включает участие в мероприятиях по обучению персонала. Например, преподавателю, получившему степень магистра, почти всегда платят больше, хотя наличие степени магистра не влияет на успеваемость студентов. [26] [ нужна ссылка ]

Большинство экспертов рекомендуют использовать несколько показателей для оценки эффективности учителей. [27]

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ Jump up to: а б с д и ж Диллон, Сэм. «Метод оценки учителей провоцирует баталии». Архивировано 18 мая 2017 г. в Wayback Machine , The New York Times , 31 августа 2010 г. По состоянию на 1 сентября 2010 г.
  2. ^ Также сложно рассчитать точную оценку, если в течение года у студентов много учителей. Эрик Ханушек , «Оценка учителей: сколько стоит хороший учитель?» Архивировано 23 июля 2017 г. на сайте Wayback Machine Education Next 11, вып. 3 (лето 2011 г.); Радж Четти, Джон Н. Фридман и Джона Э. Рокофф, « Измерение воздействия учителей II. Архивировано 28 марта 2017 г. в Wayback Machine : добавленная стоимость учителей и результаты учащихся во взрослой жизни», American Economic Review, том 104, Номер 9, сентябрь 2014 г., стр. 2633–2679.
  3. ^ Персонал. «Законопроект об оценке добавленной стоимости теперь является законом». Архивировано 14 апреля 2020 г. в Wayback Machine , Еженедельный законодательный дайджест Федерации учителей Луизианы , 28 мая 2010 г. По состоянию на 1 сентября 2010 г.
  4. ^ Jump up to: а б с д и ж г Изучение преподавания: первоначальные результаты программы измерения эффективности преподавания . Фонд Билла и Мелинды Гейтс (Отчет). Декабрь 2010 г. Архивировано из оригинала 16 декабря 2010 г. Проверено 15 декабря 2010 г. - через The Los Angeles Times.
  5. ^ Шеррер, Джимми (2011). «Измерение преподавания с использованием моделирования с добавленной стоимостью: несовершенная панацея». Вестник НАССП . 95 (2): 122–140. дои : 10.1177/0192636511410052 . S2CID   145460616 .
  6. ^ Jump up to: а б Оттерман, Шэрон (26 декабря 2010 г.). «Возникают препятствия в растущих усилиях по оценке учителей» . Нью-Йорк Таймс . Архивировано из оригинала 28 ноября 2018 года . Проверено 25 февраля 2017 г.
  7. ^ Ротштейн, Джесси М. (февраль 2010 г.). «Качество учителей в образовательном производстве: отслеживание, снижение и успеваемость учащихся» (PDF) . Ежеквартальный экономический журнал . Архивировано из оригинала (PDF) 20 июля 2013 г. Проверено 7 декабря 2013 г.
  8. ^ Jump up to: а б Томас Дж. Кейн, Дэниел Ф. Маккефри, Трей Миллер и Дуглас О. Стайгер, «Определили ли мы эффективных учителей?» Проверка мер эффективного обучения с использованием случайного назначения. Проект MET: Фонд Билла и Мелинды Гейтс (январь 2013 г.)
  9. ^ Четти, Радж ; Фридман, Джон Н.; Рокофф, Джона. «Измерение влияния учителей I: Оценка систематической ошибки в оценках добавленной стоимости учителей» . Американский экономический обзор . Американская экономическая ассоциация . Архивировано из оригинала 30 августа 2017 г. Проверено 17 сентября 2017 г.
  10. ^ Грин, Элизабет (2014). Как стать лучшим учителем: как работает преподавание (и как научить этому каждого) . WW Нортон и компания . стр. 40–44 . ISBN  978-0-393-08159-6 . Создание лучшего учителя.
  11. ^ Эрик А. Ханушек, «Характеристики учителей и достижения учащихся: оценка с использованием микроданных», American Economic Review , 61 (2), май 1971 г., стр. 280-288; Эрик А. Ханушек, «Компромисс между количеством и качеством детей». Архивировано 12 декабря 2013 г. в Wayback Machine , Журнал политической экономии , 100 (1), февраль 1992 г., стр. 84–117.
  12. ^ Линдси, Леон (2 июня 1983 г.). «Консервативный аналитический центр Стэнфорда находится под огнем» . Христианский научный монитор . Архивировано из оригинала 5 марта 2016 года . Проверено 30 августа 2013 г.
  13. ^ де Лама, Джордж (3 марта 1993 г.). «Поскольку Республиканская партия потеряла власть, консервативный аналитический центр стал более тихим местом» . Чикаго Трибьюн . Архивировано из оригинала 12 декабря 2013 года . Проверено 30 августа 2013 г.
  14. ^ «Башне Гувера аналитического центра исполняется 50 лет» . Ежедневные новости Лос-Анджелеса . 19 июля 1991 года. Архивировано из оригинала 12 декабря 2013 года . Проверено 30 августа 2013 г.
  15. ^ Ричард Дж. Мурнейн, Влияние школьных ресурсов на обучение детей из бедных районов города , Баллинджер.
  16. ^ Эрик А. Ханушек и Стивен Г. Ривкин, «Обобщения об использовании дополнительных показателей качества учителей». Архивировано 12 декабря 2013 г. в Wayback Machine , American Economic Review , 100 (2), май 2010 г., стр. 267–271. два : 10.1257/air.100.2.267
  17. ^ Маккаффри, Дэниел Ф.; Локвуд-младший; Корец, Дэниел М.; и Гамильтон, Лаура С. «Оценка моделей добавленной стоимости для подотчетности учителей». Архивировано 15 апреля 2011 г. в Wayback Machine , RAND Corporation , 2003 г. По состоянию на 1 сентября 2010 г.
  18. ^ Бриггс, Д. и Доминг, Б. «Комплексная проверка и оценка учителей». Архивировано 11 февраля 2011 г. в Wayback Machine , Национальный центр образовательной политики , 2011 г. По состоянию на 3 апреля 2011 г.
  19. ^ Ротштейн, Р. «Обзор обучения преподаванию». Архивировано 15 августа 2019 г. в Wayback Machine , Национальный центр образовательной политики , декабрь 2010 г.
  20. ^ «Отчет Гейтса, в котором рекламируется« добавленная стоимость », пришел к неправильному выводу | Национальный центр политики в области образования» . Nepc.colorado.edu. 13 января 2011 г. Архивировано из оригинала 3 января 2014 г. Проверено 13 января 2014 г.
  21. ^ Грегори Бранч, Эрик Ханушек и Стивен Г. Ривкин, «Школьные руководители имеют значение: измерение влияния эффективных директоров». Архивировано 28 октября 2012 г. в Wayback Machine , Education Next 13 (1), зима 2013 г.
  22. ^ Бейкер, Ева Л .; Бартон, Пол Э.; Дарлинг-Хэммонд, Линда ; Хертель, Эдвард; Лэдд, Хеллен Ф.; Линн, Роберт Л .; Равич, Дайан ; Ротштейн, Ричард; Шавельсон, Ричард Дж.; и Шепард, Лорри А. «Проблемы с использованием результатов тестов учащихся для оценки учителей». Архивировано 7 октября 2010 г. в Wayback Machine , Институт экономической политики , 29 августа 2010 г. По состоянию на 1 сентября 2010 г.
  23. ↑ Брейси, Джеральд , «Вычтенная ценность: «Дебаты» с Уильямом Сандерсом». Архивировано 14 июня 2013 г. в Wayback Machine , HuffPost , 1 мая 2007 г. По состоянию на 17 сентября 2012 г.
  24. ^ Американская статистическая ассоциация , «Заявление ASA об использовании моделей с добавленной стоимостью для оценки образования». Архивировано 25 сентября 2017 г. в Wayback Machine , 8 апреля 2014 г. По состоянию на 4 августа 2017 г.
  25. ↑ Юинг, Джон, «Математическое запугивание: движимое данными». Архивировано 5 августа 2017 г. в Wayback Machine , Уведомления Американского математического общества , 58:5, май 2011 г. По состоянию на 4 августа 2017 г.
  26. ^ Харрис, Дуглас Н.; Сасс, Тим Р. (2011). «Подготовка учителей, качество учителей и достижения учащихся». Журнал общественной экономики . 95 (7–8): 798–812. CiteSeerX   10.1.1.567.1794 . дои : 10.1016/j.jpubeco.2010.11.009 .
  27. ^ Патрисия Х. Хинчи (декабрь 2010 г.). «Правильная оценка учителей: чему политики могут научиться из исследований» . Краткое изложение политики NEPC . Архивировано из оригинала 27 июля 2011 г. Проверено 18 апреля 2011 г.
[ редактировать ]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Value-added_modeling&oldid=1237221701"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: b37da9d2f9a5e85e0485bd2c1e18eee4__1722181440
URL1:https://arc.ask3.ru/arc/aa/b3/e4/b37da9d2f9a5e85e0485bd2c1e18eee4.html
Заголовок, (Title) документа по адресу, URL1:
Value-added modeling - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)