Планирование экспериментов

Планирование экспериментов с полным факторным планом (слева), поверхность отклика с полиномом второй степени (справа)

План экспериментов ( DOE или DOX ), также известный как план эксперимента или план эксперимента , — это план любой задачи, целью которой является описание и объяснение изменения информации в условиях, которые, как предполагается, отражают это изменение. Этот термин обычно ассоциируется с экспериментами , в которых план вводит условия, которые непосредственно влияют на вариации, но может также относиться к плану квазиэкспериментов , в которых естественные для наблюдения выбираются условия, влияющие на вариации.

В своей простейшей форме эксперимент направлен на предсказание результата путем внесения изменения в предварительные условия, которые представлены одной или несколькими независимыми переменными , также называемыми «входными переменными» или «переменными-предикторами». Обычно предполагается, что изменение одной или нескольких независимых переменных приведет к изменению одной или нескольких зависимых переменных , также называемых «выходными переменными» или «переменными отклика». В плане эксперимента можно также определить контрольные переменные , которые необходимо поддерживать постоянными, чтобы внешние факторы не влияли на результаты. Планирование эксперимента включает не только выбор подходящих независимых, зависимых и контрольных переменных, но и планирование проведения эксперимента в статистически оптимальных условиях с учетом ограничений доступных ресурсов. Существует несколько подходов к определению набора расчетных точек (уникальных комбинаций настроек независимых переменных), которые будут использоваться в эксперименте.

Основные проблемы при планировании экспериментов включают установление достоверности , надежности и воспроизводимости . Например, эти проблемы можно частично решить, тщательно выбрав независимую переменную, уменьшив риск ошибки измерения и обеспечив достаточно подробную документацию метода. Связанные с этим проблемы включают достижение соответствующего уровня статистической мощности и чувствительности .

Правильно спланированные эксперименты расширяют знания в области естественных, социальных наук и техники, а методология разработки экспериментов признана ключевым инструментом в успешной реализации структуры «Качество через дизайн» (QbD). Другие приложения включают маркетинг и разработку политики. Изучение планирования экспериментов является важной темой метанауки .

История

Статистические эксперименты по

Основная статья: Частотная статистика

См. также: Рандомизация

Теория статистического вывода была развита Чарльзом С. Пирсом в « Иллюстрациях логики науки » (1877–1878). и « Теория вероятного вывода » (1883 г.), две публикации, в которых подчеркивалась важность выводов на основе рандомизации в статистике.

эксперименты

Основная статья: Случайное задание

См. также: Проектирование повторных измерений.

Чарльз С. Пирс случайным образом распределил добровольцев на слепое исследование с повторными измерениями , чтобы оценить их способность различать веса. Эксперимент Пирса вдохновил других исследователей в области психологии и образования, которые в 1800-х годах развили исследовательскую традицию рандомизированных экспериментов в лабораториях и специализированных учебниках.

Оптимальные конструкции для регрессионных моделей

Основная статья: Методология поверхности ответа

См. Также: Оптимальный дизайн.

Чарльз С. Пирс также опубликовал первую англоязычную публикацию об оптимальном дизайне регрессионных . моделей в 1876 году Новаторский оптимальный план полиномиальной регрессии был предложен Жергонном в 1815 году. В 1918 году Кирстин Смит опубликовала оптимальные планы для полиномов шестой степени (и меньше).

Последовательность экспериментов

Основная статья: Последовательный анализ

См. также: Задача о многоруком бандите , Индекс Гиттинса и Оптимальный дизайн.

Использование последовательности экспериментов, план каждого из которых может зависеть от результатов предыдущих экспериментов, включая возможное решение о прекращении экспериментов, находится в рамках последовательного анализа , области, которая была впервые разработана. в Абрахамом Вальдом контексте последовательной проверки статистических гипотез. Герман Чернофф написал обзор оптимальных последовательных проектов. в то время как адаптивный дизайн был исследован С. Заксом. Одним из конкретных типов последовательной конструкции является «двурукий бандит», обобщенный до многорукого бандита , ранняя работа над которым была проведена Гербертом Роббинсом в 1952 году.

Принципы Фишера

Методику планирования экспериментов предложил Рональд Фишер в своих новаторских книгах: « Планирование полевых экспериментов» (1926) и «План экспериментов» (1935). Большая часть его новаторской работы была связана с применением статистических методов в сельском хозяйстве. В качестве обыденного примера он описал, как проверить о том, что женщина пробует чай гипотезу : некая женщина могла отличить только по вкусу, было ли сначала помещено в чашку молоко или чай. Эти методы нашли широкое применение в биологических, психологических и сельскохозяйственных исследованиях.

Сравнение

В некоторых областях исследований невозможно провести независимые измерения в соответствии с прослеживаемым метрологическим стандартом . Сравнение методов лечения гораздо более ценно и обычно предпочтительнее, и часто сравнивается с научным контролем или традиционным лечением, которое действует в качестве базового уровня.

Рандомизация

Случайное распределение — это процесс случайного распределения людей по группам или разным группам в эксперименте, так что каждый человек из популяции имеет одинаковые шансы стать участником исследования. Случайное распределение людей по группам (или условиям внутри группы) отличает строгий «настоящий» эксперимент от наблюдательного исследования или «квазиэксперимента». Существует обширная математическая теория, которая исследует последствия распределения единиц лечения с помощью какого-либо случайного механизма (например, таблиц случайных чисел или использования устройств рандомизации, таких как игральные карты или игральные кости). Случайное назначение единиц лечения имеет тенденцию смягчать смешивание , в результате чего эффекты, вызванные факторами, отличными от лечения, кажутся результатом лечения.

Риски, связанные со случайным распределением (например, серьезный дисбаланс ключевой характеристики между экспериментальной группой и контрольной группой), поддаются расчету и, следовательно, могут быть снижены до приемлемого уровня, используя достаточное количество экспериментальных единиц. Однако если популяция разделена на несколько субпопуляций, которые каким-то образом различаются, и исследование требует, чтобы каждая субпопуляция была одинаковой по размеру, можно использовать стратифицированную выборку. Таким образом, рандомизируются единицы в каждой субпопуляции, а не вся выборка. Результаты эксперимента можно надежно обобщить с экспериментальных единиц на более крупную статистическую совокупность единиц только в том случае, если экспериментальные единицы представляют собой случайную выборку из более крупной совокупности; вероятная ошибка такой экстраполяции зависит, среди прочего, от размера выборки.

Статистическая репликация

Измерения обычно подвержены изменениям и неопределенности измерений ; таким образом, они повторяются и воспроизводятся полные эксперименты, чтобы помочь выявить источники вариаций, лучше оценить истинные эффекты лечения, еще больше повысить надежность и достоверность эксперимента, а также расширить существующие знания по этой теме. Однако перед началом репликации эксперимента должны быть выполнены определенные условия: исходный вопрос исследования был опубликован в рецензируемом журнале или широко цитировался, исследователь независим от исходного эксперимента, исследователь должен сначала попытаться воспроизвести оригинальные результаты с использованием исходных данных, и в описании должно быть указано, что проведенное исследование является повторным исследованием, в котором пытались максимально строго следовать исходному исследованию.

Блокировка

Блокировка (справа)

Блокирование – это неслучайное расположение экспериментальных единиц в группы (блоки), состоящие из единиц, сходных друг с другом. Блокирование уменьшает количество известных, но нерелевантных источников вариаций между единицами и, таким образом, позволяет повысить точность оценки источника изучаемой вариации.

Ортогональность

Пример ортогонального факторного плана

Ортогональность касается форм сравнения (контрасты), которые могут быть законно и эффективно проведены. Контрасты могут быть представлены векторами, а наборы ортогональных контрастов некоррелированы и независимо распределены, если данные нормальные. Из-за этой независимости каждое ортогональное лечение предоставляет различную информацию другим. Если есть Т- обработки и ортогональные контрасты Т -1, вся информация, которую можно получить в ходе эксперимента, можно получить из набора контрастов.

Многофакторные эксперименты

Использование многофакторных экспериментов вместо однофакторного метода. Они эффективны при оценке эффектов и возможных взаимодействий нескольких факторов (независимых переменных). Анализ планирования эксперимента построен на основе дисперсионного анализа — набора моделей, которые разделяют наблюдаемую дисперсию на компоненты в зависимости от того, какие факторы эксперимент должен оценить или проверить.

Пример

Этот пример дизайнерских экспериментов приписывается Гарольду Хотеллингу , основанному на примерах Фрэнка Йейтса . Эксперименты, разработанные в этом примере, включают в себя комбинаторные планы .

Вес восьми предметов измеряется с помощью чашечных весов и набора эталонных гирь. При каждом взвешивании измеряется разница в весе между объектами в левой чашке и любыми объектами в правой чашке путем добавления калиброванных гирь к более легкой чашке до тех пор, пока весы не придут в равновесие. Каждое измерение имеет случайную погрешность . Средняя ошибка равна нулю; стандартные отклонения распределения вероятностей ошибок имеют одно и то же число σ при разных взвешиваниях; ошибки при разных взвешиваниях независимы . Обозначим истинные веса через

$\theta _{1},\dots ,\theta _{8}.\,$

Мы рассмотрим два разных эксперимента:

1. Взвесьте каждый предмет на одной чашке, оставив другую пустой. Пусть X _i будет измеренным весом объекта для i = 1,..., 8.
2. Выполните восемь взвешиваний в соответствии со следующим графиком — матрицей взвешивания :

${\begin{array}{lcc}&{\text{left pan}}&{\text{right pan}}\\\hline {\text{1st weighing:}}&1\ 2\ 3\ 4\ 5\ 6\ 7\ 8&{\text{(empty)}}\\{\text{2nd:}}&1\ 2\ 3\ 8\ &4\ 5\ 6\ 7\\{\text{3rd:}}&1\ 4\ 5\ 8\ &2\ 3\ 6\ 7\\{\text{4th:}}&1\ 6\ 7\ 8\ &2\ 3\ 4\ 5\\{\text{5th:}}&2\ 4\ 6\ 8\ &1\ 3\ 5\ 7\\{\text{6th:}}&2\ 5\ 7\ 8\ &1\ 3\ 4\ 6\\{\text{7th:}}&3\ 4\ 7\ 8\ &1\ 2\ 5\ 6\\{\text{8th:}}&3\ 5\ 6\ 8\ &1\ 2\ 4\ 7\end{array}}$

Пусть Y _i — измеренная разность для i = 1,..., 8. Тогда оценочное значение веса θ ₁ равно

${\widehat {\theta }}_{1}={\frac {Y_{1}+Y_{2}+Y_{3}+Y_{4}-Y_{5}-Y_{6}-Y_{7}-Y_{8}}{8}}.$

Аналогичные оценки можно найти и для веса других предметов:

${\begin{aligned}{\widehat {\theta }}_{2}&={\frac {Y_{1}+Y_{2}-Y_{3}-Y_{4}+Y_{5}+Y_{6}-Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{3}&={\frac {Y_{1}+Y_{2}-Y_{3}-Y_{4}-Y_{5}-Y_{6}+Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{4}&={\frac {Y_{1}-Y_{2}+Y_{3}-Y_{4}+Y_{5}-Y_{6}+Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{5}&={\frac {Y_{1}-Y_{2}+Y_{3}-Y_{4}-Y_{5}+Y_{6}-Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{6}&={\frac {Y_{1}-Y_{2}-Y_{3}+Y_{4}+Y_{5}-Y_{6}-Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{7}&={\frac {Y_{1}-Y_{2}-Y_{3}+Y_{4}-Y_{5}+Y_{6}+Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{8}&={\frac {Y_{1}+Y_{2}+Y_{3}+Y_{4}+Y_{5}+Y_{6}+Y_{7}+Y_{8}}{8}}.\end{aligned}}$

Вопрос планирования эксперимента заключается в следующем: какой эксперимент лучше?

оценки X ₁ равна θ ₁ σ Дисперсия ² если мы воспользуемся первым экспериментом. Но если мы воспользуемся вторым экспериментом, дисперсия приведенной выше оценки составит σ ² /8. Таким образом, второй эксперимент дает нам в 8 раз большую точность оценки одного элемента и оценивает все элементы одновременно с одинаковой точностью. То, что достигается во втором эксперименте с восемью предметами, потребует 64 взвешиваний, если предметы взвешиваются отдельно. Однако обратите внимание, что оценки предметов, полученные во втором эксперименте, имеют ошибки, коррелирующие друг с другом.

Многие проблемы планирования экспериментов связаны с комбинаторными планами , как в этом примере и других.

Как избежать ложных срабатываний

См. Также: Метанаука

Ложноположительные выводы, часто возникающие в результате давления с целью публикации автора или предвзятости в подтверждении , представляют собой неотъемлемую опасность во многих областях.

Использование двойного слепого дизайна может предотвратить систематические ошибки , которые могут привести к ложноположительным результатам на этапе сбора данных . При использовании двойного слепого метода участников случайным образом распределяют по экспериментальным группам, но исследователь не знает, какие участники к какой группе принадлежат. Следовательно, исследователь не может повлиять на реакцию участников на вмешательство.

Экспериментальные конструкции с неизвестными степенями свободы являются проблемой, в том, что они могут привести к сознательному или неосознанному « п-хакингу »: пробовать несколько вещей, пока не получите желаемый результат. Обычно это включает в себя манипулирование – возможно, неосознанное – процессом статистического анализа и степенями свободы до тех пор, пока они не вернутся к значению ниже p<0,05 уровня статистической значимости .

P-хакинг можно предотвратить путем предварительной регистрации исследований, при которой исследователи должны отправить свой план анализа данных в журнал, в котором они хотят опубликовать свою статью, еще до того, как они начнут сбор данных, поэтому никакие манипуляции с данными невозможны.

Другой способ предотвратить это — использовать двойной слепой дизайн на этапе анализа данных, сделав исследование тройным слепым, когда данные отправляются аналитику данных, не имеющему отношения к исследованию, который шифрует данные, чтобы не было возможности чтобы знать, к каким участникам принадлежат, прежде чем они потенциально будут исключены как выбросы.

Четкая и полная документация экспериментальной методологии также важна для поддержки воспроизведения результатов .

Темы для обсуждения при постановке экспериментальной конструкции

План эксперимента или рандомизированное клиническое исследование требует тщательного рассмотрения нескольких факторов перед фактическим проведением эксперимента. План эксперимента — это составление подробного плана эксперимента перед его проведением. Некоторые из следующих тем уже обсуждались в разделе «Принципы планирования эксперимента»:

1. Сколько факторов имеет проект, и являются ли уровни этих факторов фиксированными или случайными?
2. Нужны ли условия контроля и какими они должны быть?
3. Проверка манипуляции: действительно ли манипуляция сработала?
4. Каковы фоновые переменные?
5. Каков размер выборки? Сколько единиц необходимо собрать, чтобы эксперимент был обобщаемым и имел достаточную мощность ?
6. Какова значимость взаимодействия между факторами?
7. Каково влияние отсроченных эффектов существенных факторов на результаты?
8. Как изменения в ответах влияют на показатели самоотчета?
9. Насколько осуществимо повторное использование одних и тех же измерительных приборов в одних и тех же учреждениях в разное время с посттестовыми и последующими тестами?
10. А как насчет использования предварительного тестирования прокси?
11. Есть ли скрытые переменные ?
12. Должен ли клиент/пациент, исследователь или даже аналитик данных быть слеп к условиям?
13. Какова целесообразность последующего применения разных условий к одним и тем же единицам?
14. Сколько факторов управления и шума следует учитывать?

Независимая переменная исследования часто имеет много уровней или разные группы. В настоящем эксперименте исследователи могут иметь экспериментальную группу, в которой реализуется их интервенционная проверка гипотезы, и контрольную группу, которая имеет все те же элементы, что и экспериментальная группа, но без интервенционного элемента. Таким образом, если все остальное, за исключением одного вмешательства, остается неизменным, исследователи могут с некоторой уверенностью подтвердить, что именно этот элемент и вызвал наблюдаемое изменение. В некоторых случаях наличие контрольной группы неэтично. Иногда эту проблему решают с использованием двух разных экспериментальных групп. В некоторых случаях независимыми переменными невозможно манипулировать, например, при проверке разницы между двумя группами, страдающими разными заболеваниями, или при проверке разницы между полами (очевидно, это переменные, к которым было бы сложно или неэтично отнести участников). В таких случаях можно использовать квазиэкспериментальный план.

Причинно-следственные связи

В чистом экспериментальном плане независимая (предикторная) переменная манипулируется исследователем, то есть каждый участник исследования выбирается случайным образом из совокупности, и каждому выбранному участнику случайным образом назначаются условия независимой переменной. Только когда это будет сделано, можно с высокой вероятностью подтвердить, что причина различий в переменных результата вызвана разными условиями. Поэтому исследователям следует, когда это возможно, отдавать предпочтение экспериментальному плану перед другими типами планов. Однако природа независимой переменной не всегда позволяет манипулировать ею. В таких случаях исследователи должны помнить о том, что нельзя подтверждать причинную атрибуцию, если ее конструкция не позволяет этого. Например, в планах наблюдения участники не распределяются по условиям случайным образом, и поэтому, если есть различия, обнаруженные в переменных результата между условиями, вполне вероятно, что существует что-то иное, чем различия между условиями, что вызывает различия в результатах, что is – третья переменная. То же самое касается исследований с корреляционным дизайном (Adér & Mellenbergh, 2008).

Статистический контроль

Лучше всего, чтобы процесс находился под разумным статистическим контролем до проведения запланированных экспериментов. Когда это невозможно, правильное блокирование, репликация и рандомизация позволяют тщательно провести запланированные эксперименты. Чтобы контролировать неприятные переменные, исследователи вводят контрольные проверки в качестве дополнительных мер . Исследователи должны гарантировать, что неконтролируемые воздействия (например, восприятие достоверности источника) не искажают результаты исследования. Проверка манипуляции является одним из примеров контрольной проверки. Проверки манипулирования позволяют исследователям изолировать основные переменные, чтобы усилить подтверждение того, что эти переменные работают по плану.

Одним из наиболее важных требований к планированию экспериментальных исследований является необходимость устранения влияния ложных , промежуточных и предшествующих переменных . В самой базовой модели причина (X) приводит к следствию (Y). Но может быть третья переменная (Z), которая влияет на (Y), а X может вообще не быть истинной причиной. Говорят, что Z является ложной переменной и ее необходимо контролировать. То же самое верно для промежуточных переменных (переменная, находящаяся между предполагаемой причиной (X) и следствием (Y)), а также предшествующих переменных (переменная, предшествующая предполагаемой причине (X), которая является истинной причиной). Когда задействована третья переменная, но она не контролируется, отношение называется отношением нулевого порядка . В большинстве практических применений экспериментальных исследований существует несколько причин (X1, X2, X3). В большинстве проектов одновременно манипулируют только одной из этих причин.

разработки

Некоторые эффективные схемы оценки нескольких основных эффектов были независимо и почти последовательно найдены Раджем Чандрой Босом и К. Кишеном в 1940 году в Индийском статистическом институте , но оставались малоизвестными до тех пор, пока планы Плакетта-Бермана не были опубликованы в журнале Biometrika в 1946 году. В то же время Ч.Р. Рао представил концепцию ортогональных массивов в качестве экспериментального проекта. Эта концепция сыграла центральную роль в разработке методов Тагучи Геничи Тагучи , которая произошла во время его визита в Индийский статистический институт в начале 1950-х годов. Его методы были успешно применены и приняты промышленными предприятиями Японии и Индии, а впоследствии, хотя и с некоторыми оговорками, были приняты промышленностью США.

В 1950 году Гертруда Мэри Кокс и Уильям Джеммел Кокран опубликовали книгу «Экспериментальные планы», которая на долгие годы стала основным справочником по планированию экспериментов для статистиков.

Развитие теории линейных моделей охватило и превзошло те случаи, которые касались ранних авторов. Сегодня теория опирается на продвинутые темы линейной алгебры , алгебры и комбинаторики .

Как и в других областях статистики, при планировании эксперимента используются как частотный , так и байесовский подходы: при оценке статистических процедур, таких как планы экспериментов, частотная статистика изучает распределение выборки , в то время как байесовская статистика обновляет распределение вероятностей в пространстве параметров.

Некоторыми важными специалистами в области экспериментальных планов являются К.С. Пирс , Р.А. Фишер , Ф. Йейтс , Р.К. Бозе , А.С. Аткинсон , Р.А. Бэйли , Д.Р. Кокс , Дж.П. Бокс , У.Г. Кокран , У.Т. Федерер , В.В. Федоров , А.С. Хедаят , Дж. Кифер. , О. Кемпторн , Дж. А. Нелдер , Андрей Пазман , Фридрих Пукельсхайм , Д. Рагхаварао , Ч. Р. Рао , Шрикханде С. С. , Дж. Н. Шривастава , Уильям Дж. Стадден , Г. Тагучи и Х. П. Винн .

Учебники Д. Монтгомери, Р. Майерса и Г. Бокса/У. Hunter/JS Hunter охватили несколько поколений студентов и практиков.

Некоторое обсуждение планирования эксперимента в контексте идентификации системы (построение модели для статических или динамических моделей) приведено в разделе и.

Ограничения участия людей

Законы и этические соображения исключают некоторые тщательно разработанные эксперименты на людях. Правовые ограничения зависят от юрисдикция . Ограничения могут включать институциональные наблюдательные советы , информированное согласие и конфиденциальность, затрагивающая как клинические (медицинские) исследования, так и поведенческие и социальные эксперименты. Например, в области токсикологии проводятся эксперименты. на лабораторных животных с целью определения безопасных пределов воздействия для людей . Балансировка ограничениями являются взгляды из медицинской области. Что касается рандомизации пациентов, «...если никто не знает, какая терапия лучше, не существует этического необходимо использовать ту или иную терапию». (стр. 380). экспериментальный план: «... явно неэтично помещать испытуемых рискуют собрать данные в плохо спланированном исследовании, когда такая ситуация можно легко избежать...» (с. 393).

См. также

• Состязательное сотрудничество
• Байесовский экспериментальный план
• Блочный дизайн
• Дизайн коробки – Бенкена
• Центральная композитная конструкция
• Клиническое исследование
• Дизайн клинического исследования
• Компьютерный эксперимент
• Управляющая переменная
• Управление переменной
• Экспериметрика ( эксперименты, связанные с эконометрикой )
• Факторный анализ
• Дробный факторный дизайн
• Глоссарий экспериментального дизайна
• Модель серого ящика
• Промышленная инженерия
• Эффект инструмента
• Закон больших чисел
• Проверки манипуляций
• Программное обеспечение для многофакторного проектирования экспериментов
• Однофакторный метод
• Оптимальный дизайн
• Дизайн Плакетта-Бермана
• Вероятностный дизайн
• Протокол (естественные науки)
• Квазиэкспериментальный дизайн
• Рандомизированный дизайн блоков
• Рандомизированное контролируемое исследование
• Дизайн исследования
• Надежная конструкция параметров
• Определение размера выборки
• Перенасыщенный дизайн
• Королевская комиссия по животному магнетизму
• Выборка опроса
• Идентификация системы
• Методы Тагучи

Ссылки

Источники

• Пирс, CS (1877–1878), «Иллюстрации логики науки» (серия), Popular Science Monthly , тт. 12–13. Соответствующие отдельные документы:
  • (Март 1878 г.), «Доктрина шансов», Popular Science Monthly , т. 12, мартовский выпуск, стр. 604–615 . Интернет-архив Эпринт .
  • (Апрель 1878 г.), «Вероятность индукции», Popular Science Monthly , т. 12, стр. 705–718 . Интернет-архив Эпринт .
  • (июнь 1878 г.), «Порядок природы», Popular Science Monthly , т. 13, стр. 203–217 . Интернет-архив Эпринт .
  • (август 1878 г.), «Дедукция, индукция и гипотеза», Popular Science Monthly , т. 13, стр. 470–482 . Интернет-архив Эпринт .
  • (1883), «Теория вероятного вывода», Исследования по логике , стр. 126–181 , Little, Brown and Company. (Перепечатано в 1983 г., издательство John Benjamins Publishing Company, ISBN   90-272-3271-7 )

Внешние ссылки

• Глава . из «Справочника NIST/SEMATECH по инженерной статистике» в NIST
• Проекты Бокса-Бенкена взяты из «Справочника NIST/SEMATECH по инженерной статистике» NIST .
• Подробные математические разработки наиболее распространенных DoE в онлайн-справке Opera Magistris v3.6, глава 15, раздел 7.4, ISBN   978-2-8399-0932-7 .