Несоответствие соотношения выборки
При планировании экспериментов ( несоответствие соотношения выборки SRM ) представляет собой статистически значимую разницу между ожидаемым и фактическим соотношением размеров экспериментальной и контрольной групп в эксперименте. Несоответствие соотношения выборки, также известное как несбалансированная выборка. [ 1 ] часто происходят в онлайн- контролируемых экспериментах из-за ошибок в рандомизации и аппаратуре . [ 2 ]
Несоответствие соотношения выборок можно обнаружить с помощью теста хи-квадрат . [ 3 ] Использование методов обнаружения SRM может помочь неспециалистам избежать дискуссий с использованием предвзятых данных. [ 4 ] Если размер выборки достаточно велик, даже небольшое расхождение между наблюдаемым и ожидаемым размером группы может сделать результаты эксперимента недействительными. [ 5 ] [ 6 ]
Пример
[ редактировать ]Предположим, мы запускаем A/B-тест , в котором случайным образом распределяем 1000 пользователей в экспериментальную и контрольную группы одинакового размера (разделение 50–50). Ожидаемый размер каждой группы — 500 человек. Однако фактические размеры экспериментальной и контрольной групп составляют 600 и 400 человек.
Используя Пирсона по хи-квадрату критерий согласия , мы находим несоответствие соотношения выборки со значением p 2,54 × 10. -10 . Другими словами, если бы распределение пользователей было действительно случайным, вероятность того, что эти размеры экспериментальной и контрольной групп возникнут случайно, равна 2,54 × 10. -10 . [ 7 ]
Ссылки
[ редактировать ]- ^ Эстеллер-Кукала, Мария; Фернандес, Висенс; Виллуэндас, Диего (6 июня 2019 г.). «Ошибки экспериментирования, которых следует избегать при A/B-тестировании онлайн-персонализации» . Дополнительная публикация 27-й конференции по моделированию, адаптации и персонализации пользователей . АКМ. стр. 153–159. дои : 10.1145/3314183.3323853 . ISBN 978-1-4503-6711-0 . S2CID 190007129 .
- ^ Фабижан, Александр; Гупчуп, Джаянт; Гупта, Сомит; Омховер, Джефф; Цинь, Вэнь; Вермеер, Лукас; Дмитриев, Павел (25 июля 2019 г.). «Диагностика несоответствия соотношения выборок в онлайн-контролируемых экспериментах» . Материалы 25-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . АКМ. стр. 2156–2164. дои : 10.1145/3292500.3330722 . ISBN 978-1-4503-6201-6 . S2CID 196199621 .
- ^ Не, Кейю; Чжан, Цзэчжун; Сюй, Бинцюань; Юань, Тао (17 октября 2022 г.). «Обеспечение качества A/B-тестирования в масштабе с помощью автоматической проверки рандомизации и обнаружения несоответствия соотношения выборок» . Материалы 31-й Международной конференции ACM по управлению информацией и знаниями . АКМ. стр. 3391–3399. arXiv : 2208.07766 . дои : 10.1145/3511808.3557087 . ISBN 978-1-4503-9236-5 . S2CID 251594683 .
- ^ Вермеер, Лукас; Андерсон, Кевин; Асебаль, Маурисио (13 июня 2022 г.). «Автоматическое обнаружение и анализ несоответствия соотношения выборок (SRM)» . Международная конференция по оценке и оценке в программной инженерии 2022 . АКМ. стр. 268–269. дои : 10.1145/3530019.3534982 . ISBN 978-1-4503-9613-4 . S2CID 249579055 .
- ^ Фабижан, Александр; Гупчуп, Джаянт; Гупта, Сомит; Омховер, Джефф; Цинь, Вэнь; Вермеер, Лукас; Дмитриев, Павел (2019). «Диагностика несоответствия соотношения выборок в контролируемых онлайн-экспериментах: таксономия и практические правила для практиков» (PDF) . Материалы 25-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . стр. 2156–2164. дои : 10.1145/3292500.3330722 . ISBN 9781450362016 . S2CID 196199621 .
- ^ Кохави, Рон; Томке, Стефан (1 сентября 2017 г.). «Удивительная сила онлайн-экспериментов» . Гарвардское деловое обозрение . ISSN 0017-8012 . Проверено 19 мая 2023 г.
- ^ Вермеер, Лукас. «Часто задаваемые вопросы» . SRM-проверка . Проверено 15 сентября 2022 г.
 | Эта статистике статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее . |