Выборка снежного кома

В социологических и статистических исследованиях выборка «снежный ком» ^{[ 1 ]} (или цепная выборка , цепная реферальная выборка , реферальная выборка ^{[ 2 ]}^{[ 3 ]}) — метод невероятностной выборки , при котором существующие участники исследования набирают будущих участников из числа своих знакомых. Таким образом, говорят, что выборочная группа растет, как катящийся снежный ком. По мере увеличения выборки собирается достаточно данных, которые могут быть полезны для исследования. Этот метод выборки часто используется в скрытых группах населения, таких как потребители наркотиков или работники секс-бизнеса, к которым исследователям трудно получить доступ. Поскольку члены выборки не отбираются из основы выборки , выборки, образующиеся как снежный ком, подвержены многочисленным систематическим ошибкам . Например, в выборку с большей вероятностью попадут люди, у которых много друзей. Когда используются виртуальные социальные сети, этот метод называется виртуальной выборкой снежного кома. ^{[ 4 ]}

Широко распространено мнение, что невозможно сделать несмещенные оценки на основе выборки «снежного кома», но существует разновидность выборки «снежного кома», называемая выборкой по инициативе респондентов. ^{[ 5 ]}^{[ 6 ]}^{[ 7 ]} Было показано, что позволяет исследователям делать асимптотически несмещенные оценки на основе выборок снежного кома при определенных условиях. Выборка «снежный ком» и выборка по инициативе респондентов также позволяют исследователям делать оценки о социальной сети, соединяющей скрытое население.

Описание

В выборке «снежный ком» используется небольшая группа первоначальных информаторов для назначения через свои социальные сети других участников, которые соответствуют критериям отбора и потенциально могут внести свой вклад в конкретное исследование. Термин «отбор проб снежного кома» отражает аналогию со снежным комом, увеличивающимся в размерах по мере того, как он катится вниз по склону. ^{[ 8 ]}

Метод

Разработайте программу участия (вероятно, могут быть изменены, но ориентировочно).
Подойдите к заинтересованным сторонам и попросите контакты.
Получите контакты и предложите им принять участие.
Могут появиться группы по проблемам сообщества, которые можно будет включить в программу участия.
Продолжайте наращивать контакты, чтобы при необходимости привлечь больше заинтересованных сторон.
Обеспечьте разнообразие контактов, расширив круг лиц, участвующих в «снежном коме».

Приложения

Требование

Участники, скорее всего, знают других людей, которые разделяют характеристики, которые делают их подходящими для включения в исследование. ^{[ 9 ]}

Применимая ситуация

Выборку в виде снежного кома вполне удобно использовать, когда члены популяции скрыты и их трудно обнаружить (например, выборки бездомных или потребителей запрещенных наркотиков), и эти члены тесно связаны (например, организованная преступность, общие интересы, участие в одних и тех же группах). которые имеют отношение к рассматриваемому проекту). ^{[ 9 ]}

Область применения

Социальные вычисления

Выборку снежного кома можно воспринимать как оценочную выборку в области социальных вычислений . Например, на этапе интервью можно использовать метод «снежного кома» для охвата труднодоступных групп населения. Участники или информаторы, с которыми уже был установлен контакт, могут использовать свои социальные сети, чтобы направить исследователя к другим людям, которые потенциально могут принять участие в исследовании или внести в него свой вклад.

Конфликтная среда

Было замечено, что проведение исследований в условиях конфликта затруднено из-за недоверия и подозрительности. Конфликтная среда – это среда, в которой люди или группы думают, что их потребности и цели противоречат целям и/или потребностям других людей или групп. Эти конфликты между людьми или группами могут включать в себя претензии на территорию, ресурсы, торговлю, гражданские и религиозные права, которые вызывают серьезные недопонимания и усиливают разногласия, что приводит к созданию атмосферы отсутствия доверия и подозрительности. В условиях конфликта все население (а не определенная группа людей) в некоторой степени маргинализируется, что затрудняет исследователям доступ к потенциальным участникам своих исследований. Например, угрожающая политическая обстановка при авторитарном режиме создает препятствия следователям для проведения исследований. Выборка в виде снежного кома зарекомендовала себя как полезный метод при проведении исследований в условиях конфликта, например, в контексте израильско-арабского конфликта. ^{[ 10 ]} Выборка «снежным комом» позволяет исследователям обратиться к маргинализированной группе населения на когнитивном и эмоциональном уровне и вовлечь ее в исследование. Выборка «снежным комом» устраняет условия отсутствия доверия, возникающие из-за неуверенности в будущем, с помощью методологии отслеживания связей. ^{[ 11 ]}

Сбор экспертной информации

Выборка в виде снежного кома может использоваться для выявления экспертов в определенной области, например, в медицине , производственных процессах или методах взаимодействия с клиентами, а также для сбора профессиональных и ценных знаний.

Например, компания 3M привлекла специалистов из всех областей, связанных с наложением хирургической повязки на тело с использованием образцов снежного кома. Каждый привлеченный эксперт может предложить другого эксперта, которого он может знать, который мог бы предоставить дополнительную информацию.

Исследования общественного и популяционного здравоохранения с участием маргинализированных и стигматизированных групп населения

Выборку «снежный ком» можно использовать для набора участников в исследования маргинализированного, криминализированного или иного стигматизированного поведения и его последствий. Примеры включают употребление запрещенных веществ (например, лекарств, отпускаемых без рецепта), сбор незаконных материалов (например, слоновой кости, нелицензированного оружия) или стигматизированных практик (например, поддержка анорексии, сексуальный фетиш). Исключение из общества большинства или страх разоблачения или стыда затрудняют контакт с участниками обычными способами. Однако природа многих из этих видов поведения означает, что люди, участвующие в них, контактируют друг с другом. Выборка в виде снежного кома используется во многих исследованиях уличного населения. ^{[ 12 ]}

Преимущества и недостатки

Преимущества

Обнаружение скрытых групп населения : геодезисты могут включать в опрос людей, которых они не знали бы, если бы не использование социальных сетей.
Определение местонахождения людей определенной группы населения : Не существует списков или других очевидных источников для определения местонахождения членов населения (например, бездомных, потребителей запрещенных наркотиков). Следователи используют предыдущие контакты и общение с субъектами, после чего исследователи могут получить доступ и сотрудничество со стороны новых субъектов. Ключом к получению доступа и документированию сотрудничества субъектов является доверие. Это достигается тем, что следователи действуют добросовестно и устанавливают хорошие рабочие отношения с субъектами.
Методология : Поскольку испытуемые используются для обнаружения скрытой популяции, исследователь тратит меньше денег и времени на выборку. Метод выборки снежным комом не требует сложного планирования, а требуемый персонал значительно меньше по сравнению с другими методами выборки . ^{[ 13 ]}

Выборка в виде снежного кома может использоваться как в альтернативных, так и в дополнительных методологиях исследования. В качестве альтернативной методологии, когда другие методы исследования не могут быть использованы из-за сложных обстоятельств и когда случайная выборка невозможна. В качестве дополнительной методологии с другими методами исследования для повышения качества и эффективности проведения исследований и минимизации систематической ошибки выборки, такой как квотная выборка . ^{[ 11 ]}^{[ 14 ]}

Недостатки

Предвзятость сообщества : первые участники окажут сильное влияние на выборку. Выборка в виде снежного кома является неточной и может давать различные и неточные результаты. Этот метод во многом зависит от навыков человека, проводящего фактическую выборку, а также от способности этого человека объединиться в вертикальную сеть и найти подходящий образец. Для достижения успеха необходимы предыдущие контакты в целевых регионах и способность поддерживать поток информации по всей целевой группе. ^{[ 15 ]}
Неслучайность : выборка «снежным комом» противоречит многим предположениям, поддерживающим традиционные представления о случайном отборе и репрезентативности. ^{[ 16 ]} Однако социальные системы не позволяют исследователям набирать случайный набор сотрудников. Выборка в виде снежного кома неизбежна в социальных системах.
Неизвестный размер выборки : невозможно узнать общий размер генеральной совокупности. ^{[ 9 ]}
Привязка : Еще одним недостатком выборки «снежным комом» является отсутствие определенных знаний о том, является ли выборка точным показателем целевой совокупности. Ориентируясь только на несколько избранных людей, это не всегда отражает реальные тенденции внутри целевой группы. Определение подходящего человека для проведения отбора проб, а также определение правильных целей является трудоемким процессом, поэтому выгоды лишь незначительно перевешивают затраты.
Отсутствие контроля над методом выборки : по мере того, как субъекты обнаруживают скрытую популяцию, исследование имеет очень мало контроля над методом выборки, который становится главным образом зависимым от первоначальных и последующих субъектов, которые могут добавить к известному пулу выборки, используя метод, не являющийся контроль исследователя.

Компенсации

Лучшая защита от слабостей — начать с набора первоначальных информаторов . как можно более разнообразных ^{[ 9 ]} Попытки устранить главный недостаток выборки «снежным комом» привели к созданию метода выборки по инициативе респондентов (RDS). ^{[ 17 ]} RDS дополняет метод направления путем взвешивания выборки, чтобы компенсировать первоначальный неслучайный отбор, что может привести к уменьшению ошибок, возникающих при выборке методом направления. ^{[ 13 ]}

Выборка виртуальных снежных комов

Виртуальная выборка в виде снежного кома представляет собой разновидность традиционной выборки в виде снежного кома и опирается на виртуальные сети участников. Это приносит исследователю новые преимущества, но также и недостатки.

Преимущества

В труднодоступных и труднодоступных группах населения онлайн-выборка позволяет лучше выявить лиц, представляющих интерес для исследователя, и позволяет расширить географический охват исследований. ^{[ 4 ]}
Дает возможность повысить репрезентативность результатов. ^{[ 4 ]}
Виртуальная выборка может увеличить количество ответов по сравнению с традиционной выборкой «снежным комом». По словам Балтара (2012), который использовал Facebook для поиска участников своего исследования и проведения исследования, удалось сократить время, необходимое для установления доверия между участником и исследователем. Участники с большей вероятностью делились своей личной информацией, поскольку исследователь также делился личной информацией в своем профиле Facebook. Повышенный уровень доверия способствовал более высокому проценту ответов. ^{[ 4 ]}
Менее затратный по сравнению с традиционным методом отбора проб «снежным комом». ^{[ 4 ]}

Недостатки

Несмотря на то, что метод виртуальной выборки может повысить репрезентативность результатов, отбор выборки смещен в зависимости от характеристик онлайн-популяции, таких как пол, возраст, уровень образования, социально-экономический уровень и т. д. ^{[ 4 ]}
Целевая группа населения не всегда может иметь доступ к Интернету ^{[ 4 ]}

Пример, использованный в исследовании

Методика выборки виртуального снежного кома была использована для поиска участников для исследования группы меньшинства – аргентинских предпринимателей, проживающих в Испании. Около 60 процентов этого населения имеют двойное гражданство – испанское и аргентинское. Испанская национальная статистика относит их только к гражданам Европы, и нет никакой информации о месте рождения, привязанной к профилям предпринимателей в Испании. Таким образом, обращение только к национальной статистике не позволило построить выборку для данного исследования. Использование виртуальных сетей в этом примере труднодоступной группы населения увеличило количество участвующих субъектов и, как следствие, улучшило репрезентативность результатов исследования. ^{[ 4 ]}

Этические проблемы

Этические соображения могут помешать исследовательскому персоналу напрямую связаться со многими потенциальными респондентами. Таким образом, директора программ или сотрудники, знавшие возможных респондентов, могут установить первоначальные контакты, а затем попросить тех, кто готов сотрудничать, лично связаться с проектом. В каждом случае вновь набранный участник исследования должен быть обучен понимать и принимать критерии приемлемости исследования. Например, в исследовании лечения расстройств, вызванных употреблением психоактивных веществ, в котором использовалась выборка в виде снежного кома, многим было трудно понять критерии отбора, поскольку некоторые критерии нарушали общепринятые представления о лечении и нелечении. Например, многие люди считают себя нелечившимися, несмотря на возможное длительное пребывание в программах гражданских обязательств, потому что их обязательства перед этими учреждениями были недобровольными и/или потому, что после освобождения они снова стали зависимыми, а затем выздоровели. ^{[ 18 ]} Таким образом, качество информированного согласия вызывало сомнения.

В качественном исследовании опасения, связанные с чувством принуждения, рассматриваются на предмет потенциальных этических дилемм и даются рекомендации для процесса исследования. ^{[ 19 ]}

Улучшения

Выборка «снежным комом» — это метод набора персонала, который использует исследование социальных сетей участников для доступа к определенным группам населения. Согласно исследованию, упомянутому в статье Кэт Браун , ^{[ 20 ]} использование социальных сетей для исследования доступно. В этом исследовании Кэт Браун использовала социальные сети для изучения негетеросексуальных женщин. Выборка в виде снежного кома часто используется, поскольку к исследуемой совокупности трудно получить доступ либо из-за небольшого числа потенциальных участников, либо из-за деликатности темы. Автором указана методика набора выборки «снежный ком», использующая межличностные отношения и связи внутри людей. Благодаря использованию социальных сетей и межличностных отношений выборка «снежный ком» формирует то, как люди действуют и взаимодействуют в фокус-группах, парных интервью и интервью. В результате выборка снежным комом не только приводит к набору отдельных выборок, но и позволяет участникам составить отчеты о своей жизни. Чтобы смягчить эти риски, важно не полагаться на какой-либо один метод выборки для сбора данных о целевом секторе. Для наиболее точного получения информации компания должна сделать все возможное, чтобы обеспечить контроль отбора проб. Кроме того, крайне важно, чтобы для проведения фактического отбора проб привлекался правильный персонал, поскольку одна упущенная возможность может исказить результаты.

Выборка по инициативе респондентов

Новый подход к изучению скрытых популяций. Его эффективно используют, чтобы избежать систематической ошибки при выборке методом снежного кома. Выборка по инициативе респондентов включает в себя как метод выборки на местах, так и специальные процедуры оценки, которые корректируют наличие гомофилии по признакам в популяции. Метод выборки по инициативе респондентов использует двойную систему структурированных стимулов для преодоления некоторых недостатков таких выборок. Как и другие методы цепочки перенаправлений, RDS предполагает, что те, кто лучше всего может получить доступ к членам скрытых групп населения, — это их собственные коллеги. ^{[ 21 ]}

Рост уважения со стороны сверстников (PEST)

«Снежный ком» — это вариант выборки «снежным комом», полезный для изучения небольших групп экспертных мнений. Его сторонники ^{[ 22 ]} утверждают, что он имеет ряд преимуществ по сравнению с другими методами «снежного кома»:

уменьшает предвзятость отбора, присущую первоначальным образцам семян для снежного кома, пропагандируя этап номинации, который объективно идентифицирует контактные семена для первой волны;
анализируя сетевые данные, он дает оценку численности населения, не зависящую от границ популяции, определенных исследователем;
сообщая оценку размера выборки по отношению к генеральной совокупности, он обеспечивает меру относительной значимости (в этом контексте можно сообщить оптимальные данные выборки);
посредством сетевого анализа обращений он позволяет выявить группы экспертов, которые могут сыграть важную роль в объяснении различий в их профилях ответов;
позволяет использовать стратегию выдвижения рекомендаций, которая в некоторых случаях может повысить процент откликов, в то время как стратегия выдвижения действует как окончательная проверка знаний информаторов и, следовательно, повышает достоверность контента.

Ссылки

^ Гудман, Луизиана (1961). «Выборка снежка» . Анналы математической статистики . 32 (1): 148–170. дои : 10.1214/aoms/1177705148 .
^ «Выборка снежков» . Experiment-resources.com. (по состоянию на 8 мая 2011 г.).
^ «Выборка снежка» . Changeminds.org . Проверено 17 ноября 2022 г.
^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час Балтар, Фабиола; Брюне, Игнаси (2012). «Социальные исследования 2.0: метод выборки виртуального снежного кома с использованием Facebook». Интернет-исследования . 22 (1): 55–74. дои : 10.1108/10662241211199960 .
^ Хекаторн, Д.Д. (1997). «Выборка на основе респондентов: новый подход к изучению скрытых совокупностей». Социальные проблемы . 44 (2): 174–199. дои : 10.1525/sp.1997.44.2.03x0221m .
^ Салганик, MJ ; Д.Д. Хекаторн (2004). «Выборка и оценка скрытых групп населения с использованием выборки, основанной на респондентах». Социологическая методология . 34 (1): 193–239. дои : 10.1111/j.0081-1750.2004.00152.x . S2CID 16626030 .
^ Хекаторн, Д.Д. (2002). «Выборка на основе респондентов II: получение достоверных оценок на основе выборок скрытых групп населения, направленных по цепочке». Социальные проблемы . 49 (1): 11–34. дои : 10.1525/сп.2002.49.1.11 .
^ Дэвид Л., Морган (2008). Энциклопедия качественных методов исследования SAGE . SAGE Publications, Inc., стр. 816–817. ISBN 9781412941631 .
^ Jump up to: ^а ^б ^с ^д Дэвид Л., Морган (2008). Энциклопедия качественных методов исследования SAGE . SAGE Publications, Inc., стр. 816–817. ISBN 9781412941631 .
^ Ариэли, Тамар (1 июня 2009 г.). «Возвращение к израильско-палестинским пограничным предприятиям». Журнал исследований пограничья . 24 (2): 1–14. дои : 10.1080/08865655.2009.9695724 . ISSN 0886-5655 . S2CID 143340129 .
^ Jump up to: ^а ^б Коэн, Ниссим; Ариэли, Тамар (1 июля 2011 г.). «Полевые исследования в условиях конфликта: методологические проблемы и выборка снежным комом». Журнал исследований мира . 48 (4): 423–435. дои : 10.1177/0022343311405698 . ISSN 0022-3433 . S2CID 145328311 .
^ Маршалл, Брэндон Д.Л.; Керр, Томас; Ливингстон, Крис; Ли, Кэти; Монтанер, Хулио С.Г.; Вуд, Эван (2008). «Высокая распространенность ВИЧ-инфекции среди бездомной и уличной молодежи аборигенов в канадских условиях» . Журнал снижения вреда . 5 (1): 35. дои : 10.1186/1477-7517-5-35 . ISSN 1477-7517 . ПМК 2607257 . ПМИД 19019253 .
^ Jump up to: ^а ^б Войку, Мирела-Кристина (2011). «Использование метода снежного кома в маркетинговых исследованиях скрытых групп населения». Вызовы общества знаний . 1 : 1341–1351.
^ «Обновление 33 социальных исследований: доступ к скрытым и труднодоступным группам населения» . sru.soc.surrey.ac.uk . Проверено 2 апреля 2017 г.
^ «Выборка снежка» .
^ Аткинсон, Роуленд; Флинт, Джон (2004). Энциклопедия методов исследования социальных наук . SAGE Publications, Inc., стр. 1044–1045. ISBN 9780761923633 .
^ Хекаторн, Дуглас Д. (1997). «Выборка на основе респондентов: новый подход к изучению скрытых совокупностей» (PDF) . Социальные проблемы . 44 (2): 174–199. дои : 10.2307/3096941 . JSTOR 3096941 .
^ Бернаки, Вальдорф / ОТБОР ОБРАЗЦОВ СНЕЖКА
^ Брейс-Гован, Январь (2004). «Проблемы выборки снежным комом: юрист, модель и этика». Журнал качественных исследований . 4 (1): 52.
^ Браун, Кэт (2005). «Выборка снежного кома: использование социальных сетей для исследования негетеросексуальных женщин». Международный журнал методологии социальных исследований . 8 (1): 47–60. дои : 10.1080/1364557032000081663 . S2CID 143873466 .
^ «Что такое выборка, управляемая респондентами?» . www.responsentdrivensampling.org . Проверено 17 ноября 2022 г.
^ Димитриос К. Христопулос (2010). «Снежный ком оценки сверстников: методология экспертных опросов». {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

Внешние ссылки

[1] Гудман, Луизиана (1961). «Выборка снежка» . Анналы математической статистики . 32 (1): 148–170. дои : 10.1214/aoms/1177705148 .

[2] «Выборка снежков» . Experiment-resources.com. (по состоянию на 8 мая 2011 г.).

[3] «Выборка снежка» . Changeminds.org . Проверено 17 ноября 2022 г.

[Baltar-4] Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час Балтар, Фабиола; Брюне, Игнаси (2012). «Социальные исследования 2.0: метод выборки виртуального снежного кома с использованием Facebook». Интернет-исследования . 22 (1): 55–74. дои : 10.1108/10662241211199960 .

[5] Хекаторн, Д.Д. (1997). «Выборка на основе респондентов: новый подход к изучению скрытых совокупностей». Социальные проблемы . 44 (2): 174–199. дои : 10.1525/sp.1997.44.2.03x0221m .

[6] Салганик, MJ ; Д.Д. Хекаторн (2004). «Выборка и оценка скрытых групп населения с использованием выборки, основанной на респондентах». Социологическая методология . 34 (1): 193–239. дои : 10.1111/j.0081-1750.2004.00152.x . S2CID 16626030 .

[7] Хекаторн, Д.Д. (2002). «Выборка на основе респондентов II: получение достоверных оценок на основе выборок скрытых групп населения, направленных по цепочке». Социальные проблемы . 49 (1): 11–34. дои : 10.1525/сп.2002.49.1.11 .

[8] Дэвид Л., Морган (2008). Энциклопедия качественных методов исследования SAGE . SAGE Publications, Inc., стр. 816–817. ISBN 9781412941631 .

[Morgan-9] Jump up to: ^а ^б ^с ^д Дэвид Л., Морган (2008). Энциклопедия качественных методов исследования SAGE . SAGE Publications, Inc., стр. 816–817. ISBN 9781412941631 .

[10] Ариэли, Тамар (1 июня 2009 г.). «Возвращение к израильско-палестинским пограничным предприятиям». Журнал исследований пограничья . 24 (2): 1–14. дои : 10.1080/08865655.2009.9695724 . ISSN 0886-5655 . S2CID 143340129 .

[Cohen_423–435-11] Jump up to: ^а ^б Коэн, Ниссим; Ариэли, Тамар (1 июля 2011 г.). «Полевые исследования в условиях конфликта: методологические проблемы и выборка снежным комом». Журнал исследований мира . 48 (4): 423–435. дои : 10.1177/0022343311405698 . ISSN 0022-3433 . S2CID 145328311 .

[12] Маршалл, Брэндон Д.Л.; Керр, Томас; Ливингстон, Крис; Ли, Кэти; Монтанер, Хулио С.Г.; Вуд, Эван (2008). «Высокая распространенность ВИЧ-инфекции среди бездомной и уличной молодежи аборигенов в канадских условиях» . Журнал снижения вреда . 5 (1): 35. дои : 10.1186/1477-7517-5-35 . ISSN 1477-7517 . ПМК 2607257 . ПМИД 19019253 .

[Mirela2-13] Jump up to: ^а ^б Войку, Мирела-Кристина (2011). «Использование метода снежного кома в маркетинговых исследованиях скрытых групп населения». Вызовы общества знаний . 1 : 1341–1351.

[14] «Обновление 33 социальных исследований: доступ к скрытым и труднодоступным группам населения» . sru.soc.surrey.ac.uk . Проверено 2 апреля 2017 г.

[15] «Выборка снежка» .

[16] Аткинсон, Роуленд; Флинт, Джон (2004). Энциклопедия методов исследования социальных наук . SAGE Publications, Inc., стр. 1044–1045. ISBN 9780761923633 .

[17] Хекаторн, Дуглас Д. (1997). «Выборка на основе респондентов: новый подход к изучению скрытых совокупностей» (PDF) . Социальные проблемы . 44 (2): 174–199. дои : 10.2307/3096941 . JSTOR 3096941 .

[18] Бернаки, Вальдорф / ОТБОР ОБРАЗЦОВ СНЕЖКА

[19] Брейс-Гован, Январь (2004). «Проблемы выборки снежным комом: юрист, модель и этика». Журнал качественных исследований . 4 (1): 52.

[20] Браун, Кэт (2005). «Выборка снежного кома: использование социальных сетей для исследования негетеросексуальных женщин». Международный журнал методологии социальных исследований . 8 (1): 47–60. дои : 10.1080/1364557032000081663 . S2CID 143873466 .

[21] «Что такое выборка, управляемая респондентами?» . www.responsentdrivensampling.org . Проверено 17 ноября 2022 г.

[Dimitrios-22] Димитриос К. Христопулос (2010). «Снежный ком оценки сверстников: методология экспертных опросов». {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]