Отношения правдоподобия в диагностическом тестировании

В доказательной медицине отношения правдоподобия используются для оценки ценности проведения диагностического теста . Они используют чувствительность и специфичность теста, чтобы определить, меняет ли результат теста вероятность существования состояния (например, болезненного состояния). Первое описание использования отношений правдоподобия для правил принятия решений было сделано на симпозиуме по теории информации в 1954 году. ^{[ 1 ]} В медицине отношения правдоподобия были введены в период с 1975 по 1980 год. ^{[ 2 ]}^{[ 3 ]}^{[ 4 ]}

Расчет

Существуют две версии отношения правдоподобия: одна для положительных и одна для отрицательных результатов теста. Соответственно, они известны как положительное отношение правдоподобия (LR+, отношение правдоподобия положительное , отношение правдоподобия для положительных результатов ) и отрицательное отношение правдоподобия (LR–, отношение правдоподобия отрицательное , отношение правдоподобия для отрицательных результатов ).

Положительное отношение правдоподобия рассчитывается как

{\text{LR}}+={\frac {\text{sensitivity}}{1-{\text{specificity}}}}

что эквивалентно

{\text{LR}}+={\frac {\Pr({T+}\mid D+)}{\Pr({T+}\mid D-)}}

или «вероятность того, что у человека положительный результат теста на заболевание , деленная на вероятность того, что у человека нет положительного результата теста на заболевание». Здесь « Т +» или « Т- » обозначают, что результат теста положительный или отрицательный соответственно. Аналогично, « D +» или « D- » обозначают, что заболевание присутствует или отсутствует соответственно. Таким образом, «истинно положительные» — это те, у кого положительный результат теста ( T +) и имеется заболевание ( D +), а «ложноположительный» — это те, у кого положительный результат теста ( T +), но нет заболевания ( D —).

Отрицательное отношение правдоподобия рассчитывается как ^{[ 5 ]}

{\text{LR}}-={\frac {1-{\text{sensitivity}}}{\text{specificity}}}

что эквивалентно ^{[ 5 ]}

{\text{LR}}-={\frac {\Pr({T-}\mid D+)}{\Pr({T-}\mid D-)}}

или «вероятность того, что у человека отрицательный результат теста на заболевание , деленная на вероятность того, что у человека нет отрицательного результата теста на заболевание».

Расчет отношений правдоподобия для тестов с непрерывными значениями или более чем двумя исходами аналогичен расчету для дихотомических исходов; отдельное отношение правдоподобия просто рассчитывается для каждого уровня результата теста и называется отношением правдоподобия, специфичным для интервала или слоя. ^{[ 6 ]}

Претестовые шансы конкретного диагноза, умноженные на отношение правдоподобия, определяют посттестовые шансы . Этот расчет основан на теореме Байеса . (Обратите внимание, что шансы можно вычислить на основе вероятности, а затем преобразовать в нее .)

Применение в медицине

Претестовая вероятность относится к вероятности того, что у человека в данной популяции имеется расстройство или состояние; это базовая вероятность до использования диагностического теста. Посттестовая вероятность означает вероятность того, что состояние действительно присутствует при положительном результате теста. Для хорошего теста в популяции посттестовая вероятность будет значительно выше или ниже, чем предтестовая вероятность. Высокий коэффициент правдоподобия указывает на хороший тест для популяции, а коэффициент правдоподобия, близкий к единице, указывает на то, что тест может не подходить для популяции.

Для скринингового теста интересующей популяцией может быть общее население определенной территории. При проведении диагностического тестирования врач, назначающий тестирование, должен обнаружить какой-либо симптом или другой фактор, который повышает вероятность предварительного тестирования по сравнению с общей популяцией. Отношение правдоподобия более 1 для теста в популяции указывает на то, что положительный результат теста является свидетельством наличия заболевания. Если отношение правдоподобия для теста в популяции явно не лучше единицы, тест не предоставит надежных доказательств: вероятность после теста не будет существенно отличаться от вероятности до теста. Знание или оценка отношения правдоподобия для теста в популяции позволяет клиницисту лучше интерпретировать результат. ^{[ 7 ]}

Исследования показывают, что врачи редко делают эти расчеты на практике, однако ^{[ 8 ]} и когда они это делают, они часто допускают ошибки. ^{[ 9 ]} Рандомизированное контролируемое исследование, в котором сравнивалось, насколько хорошо врачи интерпретировали диагностические тесты, которые были представлены как чувствительность и специфичность , отношение правдоподобия или неточный график отношения правдоподобия, не выявило различий между тремя способами в интерпретации результатов тестов. ^{[ 10 ]}

Таблица смет

В этой таблице приведены примеры того, как изменения отношения правдоподобия влияют на вероятность заболевания после теста.

Отношение правдоподобия	Примерное* изменение по вероятности ^{[ 11 ]}	Влияние на посттест Вероятность заболевания ^{[ 12 ]}
Значения от 0 до 1 уменьшают вероятность заболевания (-LR).
0.1	−45%	Большое снижение
0.2	−30%	Умеренное снижение
0.5	−15%	Небольшое снижение
1	−0%	Никто
Значения больше 1 увеличивают вероятность заболевания (+LR)
1	+0%	Никто
2	+15%	Небольшое увеличение
5	+30%	Умеренное увеличение
10	+45%	Большое увеличение

*Эти оценки имеют точность в пределах 10 % от рассчитанного ответа для всех вероятностей предварительного тестирования от 10 % до 90 %. Средняя ошибка составляет всего 4%. Полярные крайние значения вероятности до тестирования >90% и <10% см. в разделе «Оценка вероятности до и после тестирования» ниже.

Пример оценки

Претестовая вероятность: например, если примерно у 2 из каждых 5 пациентов со вздутием живота имеется асцит , то претестовая вероятность составляет 40%.
Отношение правдоподобия. Примером «теста» является то, что при физикальном осмотре выпячивание боков имеет положительный коэффициент правдоподобия 2,0 для асцита.
Предполагаемое изменение вероятности: согласно таблице выше, отношение правдоподобия 2,0 соответствует увеличению вероятности примерно на +15%.
Окончательная вероятность (после теста): Таким образом, выпуклость боков увеличивает вероятность асцита с 40% до примерно 55% (т. е. 40% + 15% = 55%, что находится в пределах 2% от точной вероятности 57%).

Пример расчета

Медицинским примером является вероятность того, что данный результат теста можно ожидать от пациента с определенным расстройством, по сравнению с вероятностью того, что тот же результат будет получен у пациента без целевого расстройства.

Некоторые источники различают LR+ и LR−. ^{[ 13 ]} Ниже показан рабочий пример.

Проработанный пример: Диагностический тест с чувствительностью 67% и специфичностью 91% применен к 2030 людям для поиска расстройства с распространенностью в популяции 1,48%.

		кала на скрытую кровь Результаты скринингового теста		^{вид разговаривать редактировать}
	Общая численность населения (население) = 2030 г.	Результат теста положительный	Результат теста отрицательный	Точность (АКК) = (ТП+ТН)/поп. = (20 + 1820) / 2030 ≈ 90.64%	F ₁ балл = 2 × ⁠ точность × отзыв / точность + отзыв ⁠ ≈ 0.174
Пациенты с рак кишечника (как подтверждено по эндоскопии )	Фактическое состояние положительный (АП) = 30 (2030 × 1.48%)	Истинно положительный (TP) = 20 (2030 × 1.48% × 67%)	Ложноотрицательный (ЛН) = 10 (2030 × 1.48% × (100% − 67%) )	Истинно положительный уровень (TPR), отзыв , чувствительность = ТП/АП = 20 / 30 ≈ 66.7%	Уровень ложноотрицательных результатов (FNR), процент промахов = ФН/АП = 10 / 30 ≈ 33.3%
Пациенты с рак кишечника (как подтверждено по эндоскопии )	Фактическое состояние отрицательный (АН) = 2000 (2030 × (100% − 1.48%) )	Ложное срабатывание (FP) = 180 (2030 × (100% − 1.48%) × (100% − 91%) )	Истинно отрицательный (TN) = 1820 (2030 × (100% − 1.48%) × 91%)	Частота ложных срабатываний (FPR), выпадения , вероятность ложной тревоги = ФП / АН = 180 / 2000 = 9.0%	Специфичность , селективность, процент истинно отрицательных результатов (TNR) = ТН / АН = 1820 / 2000 = 91%
	Распространенность = АП/поп. = 30 / 2030 ≈ 1.48%	Положительная прогностическая ценность (PPV), точность = ТП / (ТП + ФП) = 20 / (20 + 180) = 10%	Коэффициент ложного пропуска (FOR) = ФН / (ФН + ТН) = 10 / (10 + 1820) ≈ 0.55%	Положительное отношение правдоподобия (LR+) = ⁠ TPR / FPR ⁠ = (20 / 30) / (180 / 2000) ≈ 7.41	Отрицательное отношение правдоподобия (LR-) = ⁠ FNR / TNR ⁠ = (10 / 30) / (1820 / 2000) ≈ 0.366
		Уровень ложного обнаружения (FDR) = ФП / (ТП + ФП) = 180 / (20 + 180) = 90.0%	Отрицательная прогностическая ценность (NPV) = ТН / (ФН + ТН) = 1820 / (10 + 1820) ≈ 99.45%	Диагностическое отношение шансов (DOR) = ⁠ ЛР+ / ЛР- ⁠ ≈ 20.2

Связанные расчеты

Частота ложноположительных результатов (α) = ошибка I рода = 1 − специфичность = FP / (FP + TN) = 180 / (180 + 1820) = 9%
Частота ложноотрицательных результатов (β) = ошибка II рода = 1 − чувствительность = FN / (TP + FN) = 10 / (20 + 10) ≈ 33%
Мощность = чувствительность = 1 − β
положительного Отношение правдоподобия результата = чувствительность / (1 — специфичность) ≈ 0,67 / (1 — 0,91) ≈ 7,4.
Отрицательное отношение правдоподобия = (1 – чувствительность)/специфичность ≈ (1 – 0,67)/0,91 ≈ 0,37.
Порог распространенности = $PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}$ ≈ 0.2686 ≈ 26.9%

Этот гипотетический скрининговый тест (анализ кала на скрытую кровь) правильно выявил две трети (66,7%) пациентов с колоректальным раком. ^{[ а ]} К сожалению, учет показателей распространенности показывает, что этот гипотетический тест имеет высокий уровень ложноположительных результатов и не позволяет надежно выявлять колоректальный рак в общей популяции бессимптомных людей (PPV = 10%).

С другой стороны, этот гипотетический тест демонстрирует очень точное выявление лиц, свободных от рака (NPV ≈ 99,5%). Таким образом, при рутинном скрининге колоректального рака у бессимптомных взрослых отрицательный результат дает важную информацию для пациента и врача, например, исключает рак как причину желудочно-кишечных симптомов или успокаивает пациентов, обеспокоенных развитием колоректального рака.

Доверительные интервалы для всех задействованных прогнозных параметров могут быть рассчитаны, давая диапазон значений, в пределах которого истинное значение находится на заданном уровне достоверности (например, 95%). ^{[ 16 ]}

Оценка вероятности до и после тестирования

Отношение правдоподобия теста позволяет оценить до и после теста вероятность наличия заболевания .

Учитывая вероятность до тестирования и отношение правдоподобия , вероятности после тестирования можно рассчитать с помощью следующих трех шагов: ^{[ 17 ]}

{\text{pretest odds}}={\frac {\text{pretest probability}}{1-{\text{pretest probability}}}}

{\text{posttest odds}}={\text{pretest odds}}\times {\text{likelihood ratio}}

В приведенном выше уравнении положительная вероятность после теста рассчитывается с использованием отношения правдоподобия положительного значения , а вероятность отрицательного результата после тестирования рассчитывается с использованием отношения правдоподобия отрицательного значения .

Шансы преобразуются в вероятности следующим образом: ^{[ 18 ]}

{\begin{aligned}(1)\ {\text{ odds}}={\frac {\text{probability}}{1-{\text{probability}}}}\end{aligned}}

умножить уравнение (1) на (1 − вероятность)

{\begin{aligned}(2)\ {\text{ probability}}&={\text{odds}}\times (1-{\text{probability}})\\&={\text{odds}}-{\text{probability}}\times {\text{odds}}\end{aligned}}

добавить (вероятность × шансы) в уравнение (2)

{\begin{aligned}(3)\ {\text{ probability}}+{\text{probability}}\times {\text{odds}}&={\text{odds}}\\{\text{probability}}\times (1+{\text{odds}})&={\text{odds}}\end{aligned}}

разделить уравнение (3) на (1 + коэффициент)

{\begin{aligned}(4)\ {\text{ probability}}={\frac {\text{odds}}{1+{\text{odds}}}}\end{aligned}}

следовательно

Вероятность после тестирования = Шансы после тестирования / (Шансы после тестирования + 1)

Альтернативно, вероятность после тестирования может быть рассчитана непосредственно из вероятности до тестирования и отношения правдоподобия, используя уравнение:

P' = P0 × LR/(1 - P0 + P0×LR) , где P0 — вероятность до теста, P’ — вероятность после теста, а LR — отношение правдоподобия. Эту формулу можно вычислить алгебраически, объединив шаги предыдущего описания.

Фактически, вероятность после теста , оцененная на основе отношения правдоподобия и вероятности до теста , обычно более точна, чем если она оценивается на основе положительной прогностической ценности теста, если у тестируемого человека предтестовая вероятность отличается от той, которая распространенность . этого заболевания среди населения

Пример

Если взять медицинский пример, приведенный выше (20 истинно положительных результатов, 10 ложноотрицательных результатов и общее количество пациентов 2030), вероятность положительного результата перед тестом рассчитывается как:

Претестовая вероятность = (20 + 10) / 2030 = 0,0148
Шансы на претест = 0,0148 / (1 − 0,0148) = 0,015
Шансы после теста = 0,015 × 7,4 = 0,111
Вероятность после тестирования = 0,111 / (0,111 + 1) = 0,1 или 10%

Как показано, вероятность положительного результата после теста численно равна прогностической ценности положительного результата ; вероятность отрицательного результата после теста численно равна (1 – прогностическая ценность отрицательного результата ).

Примечания

^ У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Рекомендации по клинической практике , например, по скринингу колоректального рака, описывают эти риски и преимущества. ^{[ 14 ]}^{[ 15 ]}

Ссылки

^ Светс Дж.А. (1973). «Относительная операционная характеристика в психологии». Наука . 182 (14116): 990–1000. Бибкод : 1973Sci...182..990S . дои : 10.1126/science.182.4116.990 . ПМИД 17833780 .
^ Паукер С.Г., Кассирер Дж.П. (1975). «Принятие терапевтических решений: анализ затрат и выгод». НЭМ . 293 (5): 229–34. дои : 10.1056/NEJM197507312930505 . ПМИД 1143303 .
^ Торнбери-младший, Фрайбек Д.Г., Эдвардс В. (1975). «Отношения правдоподобия как мера диагностической полезности информации экскреторной урограммы». Радиология . 114 (3): 561–5. дои : 10.1148/114.3.561 . ПМИД 1118556 .
^ ван дер Хельм Х.Дж., Хише Э.А. (1979). «Применение теоремы Байеса к результатам количественных клинических химических определений» . Клин Чем . 25 (6): 985–8. ПМИД 445835 .
^ Jump up to: ^а ^б Гарднер, М.; Альтман, Дуглас Г. (2000). Уверенная статистика: доверительные интервалы и статистические рекомендации . Лондон: Книги BMJ. ISBN 978-0-7279-1375-3 .
^ Браун, доктор медицинских наук, Ривз, MJ (2003). «Доказательная неотложная медицина/навыки оказания доказательной неотложной помощи. Интервальные отношения правдоподобия: еще одно преимущество для доказательного диагноста» . Энн Эмерг Мед . 42 (2): 292–297. дои : 10.1067/mem.2003.274 . ПМИД 12883521 .
^ Харрелл Ф., Калифф Р., Прайор Д., Ли К., Розати Р. (1982). «Оценка эффективности медицинских тестов». ДЖАМА . 247 (18): 2543–2546. дои : 10.1001/jama.247.18.2543 . ПМИД 7069920 .
^ Рид MC, Лейн Д.А., Файнштейн А.Р. (1998). «Академические расчеты против клинических суждений: использование практикующими врачами количественных показателей точности тестов». Являюсь. Дж. Мед . 104 (4): 374–80. дои : 10.1016/S0002-9343(98)00054-0 . ПМИД 9576412 .
^ Стойрер Дж., Фишер Дж.Э., Бахманн Л.М., Коллер М., Тер Риет Г. (2002). «Информирование врачей общей практики о точности тестов: контролируемое исследование» . БМЖ . 324 (7341): 824–6. дои : 10.1136/bmj.324.7341.824 . ПМЦ 100792 . ПМИД 11934776 .
^ Пухан М.А., Стойрер Дж., Бахманн Л.М., Тер Риет Г. (2005). «Рандомизированное исследование способов описания точности теста: влияние на оценки вероятности врачей после тестирования». Энн. Стажер. Мед . 143 (3): 184–9. дои : 10.7326/0003-4819-143-3-200508020-00004 . ПМИД 16061916 .
^ МакГи, Стивен (1 августа 2002 г.). «Упрощение отношений правдоподобия» . Журнал общей внутренней медицины . 17 (8): 647–650. дои : 10.1046/j.1525-1497.2002.10750.x . ISSN 0884-8734 . ПМК 1495095 . ПМИД 12213147 .
^ Хендерсон, Марк К.; Тирни, Лоуренс М.; Сметана, Джеральд В. (2012). История пациента (2-е изд.). МакГроу-Хилл. п. 30. ISBN 978-0-07-162494-7 .
^ «Отношения правдоподобия» . Архивировано из оригинала 20 августа 2002 года . Проверено 4 апреля 2009 г.
^ Лин, Дженнифер С.; Пайпер, Маргарет А.; Пердью, Лесли А.; Раттер, Кэролин М.; Уэббер, Элизабет М.; О'Коннор, Элизабет; Смит, Нин; Уитлок, Эвелин П. (21 июня 2016 г.). «Скрининг колоректального рака». ДЖАМА . 315 (23): 2576–2594. дои : 10.1001/jama.2016.3332 . ISSN 0098-7484 . ПМИД 27305422 .
^ Бенар, Флоренция; Баркун, Алан Н.; Мартель, Мириам; Рентельн, Даниэль фон (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу колоректального рака у взрослых со средним риском: обобщение текущих глобальных рекомендаций» . Всемирный журнал гастроэнтерологии . 24 (1): 124–138. дои : 10.3748/wjg.v24.i1.124 . ПМК 5757117 . ПМИД 29358889 .
^ Онлайн-калькулятор доверительных интервалов для прогнозируемых параметров.
^ Отношения правдоподобия . Архивировано 22 декабря 2010 года в Wayback Machine , CEBM (Центр доказательной медицины). Последнее редактирование страницы: 1 февраля 2009 г.
^ [1] из Австралийского статистического бюро: Сравнение показателей волонтерской деятельности по данным переписи населения и жилищного фонда 2006 года и Общего социального исследования 2006 года, июнь 2012 г., последний выпуск выпущен в 11:30 (КАНБЕРРСКОЕ ВРЕМЯ) 06.08.2012.

Внешние ссылки

Хранилища медицинских отношений правдоподобия

[16] У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Рекомендации по клинической практике , например, по скринингу колоректального рака, описывают эти риски и преимущества. ^{[ 14 ]}^{[ 15 ]}

[1] Светс Дж.А. (1973). «Относительная операционная характеристика в психологии». Наука . 182 (14116): 990–1000. Бибкод : 1973Sci...182..990S . дои : 10.1126/science.182.4116.990 . ПМИД 17833780 .

[2] Паукер С.Г., Кассирер Дж.П. (1975). «Принятие терапевтических решений: анализ затрат и выгод». НЭМ . 293 (5): 229–34. дои : 10.1056/NEJM197507312930505 . ПМИД 1143303 .

[3] Торнбери-младший, Фрайбек Д.Г., Эдвардс В. (1975). «Отношения правдоподобия как мера диагностической полезности информации экскреторной урограммы». Радиология . 114 (3): 561–5. дои : 10.1148/114.3.561 . ПМИД 1118556 .

[4] ван дер Хельм Х.Дж., Хише Э.А. (1979). «Применение теоремы Байеса к результатам количественных клинических химических определений» . Клин Чем . 25 (6): 985–8. ПМИД 445835 .

[altman-5] Jump up to: ^а ^б Гарднер, М.; Альтман, Дуглас Г. (2000). Уверенная статистика: доверительные интервалы и статистические рекомендации . Лондон: Книги BMJ. ISBN 978-0-7279-1375-3 .

[6] Браун, доктор медицинских наук, Ривз, MJ (2003). «Доказательная неотложная медицина/навыки оказания доказательной неотложной помощи. Интервальные отношения правдоподобия: еще одно преимущество для доказательного диагноста» . Энн Эмерг Мед . 42 (2): 292–297. дои : 10.1067/mem.2003.274 . ПМИД 12883521 .

[7] Харрелл Ф., Калифф Р., Прайор Д., Ли К., Розати Р. (1982). «Оценка эффективности медицинских тестов». ДЖАМА . 247 (18): 2543–2546. дои : 10.1001/jama.247.18.2543 . ПМИД 7069920 .

[pmid9576412-8] Рид MC, Лейн Д.А., Файнштейн А.Р. (1998). «Академические расчеты против клинических суждений: использование практикующими врачами количественных показателей точности тестов». Являюсь. Дж. Мед . 104 (4): 374–80. дои : 10.1016/S0002-9343(98)00054-0 . ПМИД 9576412 .

[pmid11934776-9] Стойрер Дж., Фишер Дж.Э., Бахманн Л.М., Коллер М., Тер Риет Г. (2002). «Информирование врачей общей практики о точности тестов: контролируемое исследование» . БМЖ . 324 (7341): 824–6. дои : 10.1136/bmj.324.7341.824 . ПМЦ 100792 . ПМИД 11934776 .

[pmid16061916-10] Пухан М.А., Стойрер Дж., Бахманн Л.М., Тер Риет Г. (2005). «Рандомизированное исследование способов описания точности теста: влияние на оценки вероятности врачей после тестирования». Энн. Стажер. Мед . 143 (3): 184–9. дои : 10.7326/0003-4819-143-3-200508020-00004 . ПМИД 16061916 .

[11] МакГи, Стивен (1 августа 2002 г.). «Упрощение отношений правдоподобия» . Журнал общей внутренней медицины . 17 (8): 647–650. дои : 10.1046/j.1525-1497.2002.10750.x . ISSN 0884-8734 . ПМК 1495095 . ПМИД 12213147 .

[12] Хендерсон, Марк К.; Тирни, Лоуренс М.; Сметана, Джеральд В. (2012). История пациента (2-е изд.). МакГроу-Хилл. п. 30. ISBN 978-0-07-162494-7 .

[urlLikelihood_ratios-13] «Отношения правдоподобия» . Архивировано из оригинала 20 августа 2002 года . Проверено 4 апреля 2009 г.

[14] Лин, Дженнифер С.; Пайпер, Маргарет А.; Пердью, Лесли А.; Раттер, Кэролин М.; Уэббер, Элизабет М.; О'Коннор, Элизабет; Смит, Нин; Уитлок, Эвелин П. (21 июня 2016 г.). «Скрининг колоректального рака». ДЖАМА . 315 (23): 2576–2594. дои : 10.1001/jama.2016.3332 . ISSN 0098-7484 . ПМИД 27305422 .

[15] Бенар, Флоренция; Баркун, Алан Н.; Мартель, Мириам; Рентельн, Даниэль фон (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу колоректального рака у взрослых со средним риском: обобщение текущих глобальных рекомендаций» . Всемирный журнал гастроэнтерологии . 24 (1): 124–138. дои : 10.3748/wjg.v24.i1.124 . ПМК 5757117 . ПМИД 29358889 .

[17] Онлайн-калькулятор доверительных интервалов для прогнозируемых параметров.

[18] Отношения правдоподобия . Архивировано 22 декабря 2010 года в Wayback Machine , CEBM (Центр доказательной медицины). Последнее редактирование страницы: 1 февраля 2009 г.

[19] [1] из Австралийского статистического бюро: Сравнение показателей волонтерской деятельности по данным переписи населения и жилищного фонда 2006 года и Общего социального исследования 2006 года, июнь 2012 г., последний выпуск выпущен в 11:30 (КАНБЕРРСКОЕ ВРЕМЯ) 06.08.2012.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ а ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 14 ]

[ 15 ]