А/Б тестирование
A/B-тестирование (также известное как сегментное тестирование , сплит-тестирование или сплит-тестирование ) — это пользовательского опыта исследования методология . [ 1 ] A/B-тесты представляют собой рандомизированный эксперимент , который обычно включает два варианта (A и B). [ 2 ] [ 3 ] [ 4 ] хотя эту концепцию можно распространить и на несколько вариантов одной и той же переменной. Он включает в себя применение статистической проверки гипотез или « проверки гипотез с двумя выборками », используемой в области статистики . A/B-тестирование — это способ сравнить несколько версий одной переменной , например, проверив реакцию субъекта на вариант A по сравнению с вариантом B и определяя, какой из вариантов более эффективен. [ 5 ]
Обзор
[ редактировать ]«A/B-тестирование» — это сокращение для простого рандомизированного контролируемого несколько образцов (например, A и B) одной векторной переменной . эксперимента, в котором сравнивается [ 1 ] Эти значения схожи, за исключением одного варианта, который может повлиять на поведение пользователя. A/B-тесты широко считаются простейшей формой контролируемого эксперимента, особенно когда они включают только два варианта. Однако при добавлении к тесту большего количества вариантов его сложность возрастает. [ 6 ]
A/B-тесты полезны для понимания вовлеченности пользователей и удовлетворенности онлайн-функциями, такими как новая функция или продукт. [ 7 ] Крупные социальных сетей, сайты такие как LinkedIn , Facebook и Instagram, используют A/B-тестирование, чтобы сделать взаимодействие с пользователем более успешным и как способ оптимизировать свои услуги. [ 7 ]
Сегодня A/B-тесты используются также для проведения сложных экспериментов по таким темам, как сетевые эффекты , когда пользователи находятся в автономном режиме, как онлайн-сервисы влияют на действия пользователей и как пользователи влияют друг на друга. [ 7 ] A/B-тестирование используется, в частности, инженерами данных, маркетологами, дизайнерами, разработчиками программного обеспечения и предпринимателями. [ 8 ] Многие позиции полагаются на данные A/B-тестов, поскольку они позволяют компаниям понять рост, увеличить доходы и оптимизировать удовлетворенность клиентов. [ 8 ]
Версия А может использоваться в настоящее время (таким образом формируя контрольную группу), в то время как версия Б в некотором отношении модифицирована по сравнению с версией А (таким образом образуя лечебную группу). Например, на веб-сайте электронной коммерции воронка покупок обычно является хорошим кандидатом для A/B-тестирования, поскольку даже незначительное снижение показателей отказов может привести к значительному увеличению продаж. Значительные улучшения иногда можно увидеть при тестировании таких элементов, как текст, макеты, изображения и цвета. [ 9 ] но не всегда. В этих тестах пользователи видят только одну из двух версий, поскольку цель состоит в том, чтобы выяснить, какая из двух версий предпочтительнее. [ 10 ]
Многомерное тестирование или полиномиальное тестирование похоже на A/B-тестирование, но может тестировать более двух версий одновременно или использовать больше элементов управления. Простые A/B-тесты неприменимы для наблюдательных , квазиэкспериментальных или других неэкспериментальных ситуаций — обычное явление для данных опросов, автономных данных и других, более сложных явлений.
Некоторые утверждают, что A/B-тестирование представляет собой изменение философии и бизнес-стратегии в определенных нишах, хотя этот подход идентичен межиспытуемому дизайну , который обычно используется в различных исследовательских традициях. [ 11 ] [ 12 ] [ 13 ] A/B-тестирование как философия веб-разработки приводит эту область в соответствие с более широким движением в сторону научно обоснованной практики . Считается, что преимущества A/B-тестирования заключаются в том, что его можно проводить постоянно практически для чего угодно, тем более что большинство программ для автоматизации маркетинга теперь обычно имеют возможность проводить A/B-тесты на постоянной основе.
Общая статистика испытаний
[ редактировать ]«Тестирование гипотез с двумя выборками» подходит для сравнения двух выборок, когда выборки делятся на два контрольных случая в эксперименте. Z-тесты подходят для сравнения средних значений в строгих условиях относительно нормальности и известного стандартного отклонения. Критерии Стьюдента подходят для сравнения средних значений в смягченных условиях, когда предполагается меньшее значение. T-критерий Уэлча с двумя выборками, предполагает наименьшее значение и поэтому является наиболее часто используемым тестом в проверке гипотезы когда необходимо оптимизировать среднее значение показателя. Хотя среднее значение оптимизируемой переменной является наиболее распространенным методом оценки , регулярно используются и другие.
Для сравнения двух биномиальных распределений, таких как рейтинг кликов, можно использовать точный критерий Фишера .
| Предполагаемое распространение | Пример случая | Стандартный тест | Альтернативный тест |
|---|---|---|---|
| Гауссовский | Средний доход на пользователя | T-критерий Уэлча (непарный t-критерий) | Т-критерий Стьюдента |
| Биномиальный | Рейтинг кликов | Точный тест Фишера | тест Барнарда |
| Пуассон | Транзакции на одного платящего пользователя | Электронный тест [ 14 ] | C-тест |
| Полиномиальный | Количество каждого купленного товара | Тест хи-квадрат | G-тест |
| Неизвестный | U-тест Манна-Уитни | Выборка Гиббса |
Проблемы
[ редактировать ]При проведении A/B-тестирования пользователь должен оценить его плюсы и минусы, чтобы увидеть, насколько оно лучше всего соответствует результатам, на которые он надеется.
Плюсы: с помощью A/B-тестирования легко получить четкое представление о том, что предпочитают пользователи, поскольку при этом одно тестируется напрямую, а не другое. Он основан на реальном поведении пользователей, поэтому данные могут быть очень полезны, особенно при определении того, какой из двух вариантов работает лучше. Кроме того, он также может дать ответы на очень конкретные вопросы дизайна. Одним из примеров этого является A/B-тестирование Google с цветами гиперссылок. Чтобы оптимизировать доход, они протестировали десятки различных оттенков гиперссылок, чтобы определить, на какой цвет пользователи чаще нажимают.
Минусы: Однако у A/B-тестирования есть несколько минусов. Как упоминалось выше, A/B-тестирование хорошо подходит для решения конкретных вопросов дизайна, но оно также может быть и недостатком, поскольку в большинстве случаев оно хорошо только для конкретных проблем дизайна с очень измеримыми результатами. Это также может быть очень дорогостоящим и своевременным процессом. В зависимости от размера компании и/или команды может проводиться множество встреч и дискуссий о том, что именно тестировать и каково влияние A/B-теста. Если существенного воздействия не будет, это может оказаться пустой тратой времени и ресурсов.
имеющую опыт крупномасштабного A/B-тестирования. В декабре 2018 года представители тринадцати различных организаций ( Airbnb , Amazon , Booking.com , Facebook , Google , LinkedIn , Lyft , Microsoft , Netflix , Twitter , Uber и Стэнфордский университет ) посетили конференцию, Саммит и суммировал основные проблемы в документе SIGKDD Explorations. [ 15 ] Проблемы можно сгруппировать в четыре области: анализ, инженерия и культура, отклонения от традиционных A/B-тестов и качество данных.
История
[ редактировать ]Трудно точно установить, когда впервые было использовано A/B-тестирование. Первое рандомизированное двойное слепое исследование по оценке эффективности гомеопатического препарата состоялось в 1835 году. [ 16 ] Эксперименты с рекламными кампаниями, которые сравнивают с современным A/B-тестированием, начались в начале двадцатого века. [ 17 ] Пионер рекламы Клод Хопкинс использовал рекламные купоны, чтобы проверить эффективность своих кампаний. Однако этот процесс, который Хопкинс описал в своей «Научной рекламе» , не включал в себя такие понятия, как статистическая значимость и нулевая гипотеза , которые используются при проверке статистических гипотез . [ 18 ] В тот же период отдельно были разработаны современные статистические методы оценки значимости выборочных данных. Эта работа была проделана в 1908 году Уильямом Сили Госсетом, когда он изменил Z-критерий , чтобы создать t-критерий Стьюдента . [ 19 ] [ 20 ]
С развитием Интернета стали доступны новые способы выборки населения. Инженеры Google провели свой первый A/B-тест в 2000 году, пытаясь определить, какое оптимальное количество результатов будет отображаться на странице результатов поисковой системы. [ 5 ] Первый тест оказался неудачным из-за сбоев, возникших из-за медленной загрузки. Позже исследования A/B-тестирования будут более продвинутыми, но фундамент и основополагающие принципы в целом остаются прежними, и в 2011 году, через 11 лет после первого теста Google, Google провел более 7000 различных A/B-тестов. [ 5 ]
В 2012 году сотрудник Microsoft, работающий над поисковой системой Microsoft Bing, провел эксперимент по проверке различных способов отображения рекламных заголовков. За считанные часы альтернативный формат привел к увеличению дохода на 12% без какого-либо влияния на показатели пользовательского опыта. [ 4 ] Сегодня такие компании, как Microsoft и Google, ежегодно проводят более 10 000 A/B-тестов. [ 4 ]
Многие компании теперь используют подход «спланированного эксперимента» для принятия маркетинговых решений, ожидая, что соответствующие результаты выборки могут улучшить положительные результаты конверсии. [ нужна ссылка ] Это становится все более распространенной практикой по мере роста инструментов и опыта в этой области. [ 21 ]
Примеры
[ редактировать ]Компания с базой данных клиентов в 2000 человек решает создать кампанию по электронной почте с кодом скидки, чтобы увеличить продажи через свой веб-сайт. Он создает две версии электронного письма с разными призывами к действию (часть текста, которая побуждает клиентов что-то сделать — в случае с рекламной кампанией — совершить покупку) и идентифицирующим промокодом.
- 1000 человек он отправляет электронное письмо с призывом к действию: «Предложение заканчивается в эту субботу! Используйте код A1».
- и еще 1000 человек он отправляет электронное письмо с призывом к действию: «Предложение скоро закончится! Используйте код B1».
Все остальные элементы текста и макета писем идентичны. Затем компания отслеживает, какая кампания имеет более высокий показатель успеха, анализируя использование промокодов. На электронное письмо с кодом A1 процент откликов составляет 5 % (50 из 1000 человек, отправивших электронное письмо, использовали этот код для покупки продукта), а на электронное письмо с кодом B1 — 3 % (30 получателей использовали код, чтобы купить товар). Поэтому компания определяет, что в данном случае первый призыв к действию более эффективен, и будет использовать его в будущих продажах. Более детальный подход предполагает применение статистического тестирования, чтобы определить, являются ли различия в частоте ответов между A1 и B1 статистически значимыми (т. е. с высокой вероятностью, что различия реальны, повторяемы и не вызваны случайностью). [ 22 ]
В приведенном выше примере цель теста — определить, какой способ побудить клиентов совершить покупку является более эффективным. Однако если бы целью теста было выяснить, какое электронное письмо будет генерировать более высокий рейтинг кликов (то есть количество людей, которые на самом деле переходят на веб-сайт после получения электронного письма), то результаты могли бы быть другими.
Например, несмотря на то, что больше клиентов, получивших код B1, зашли на веб-сайт, поскольку в призыве к действию не указана дата окончания акции, многие из них могут не чувствовать необходимости срочно совершать немедленную покупку. Следовательно, если бы целью теста было просто выяснить, какое электронное письмо принесет больше трафика на веб-сайт, то электронное письмо, содержащее код B1, вполне могло бы оказаться более успешным. A/B-тестирование должно иметь определенный измеримый результат, например, количество совершенных продаж, конверсию по кликам или количество людей, подписавшихся/регистрирующихся. [ 23 ]
A/B-тестирование цен на продукты
[ редактировать ]A/B-тестирование можно использовать для определения правильной цены на продукт, поскольку это, пожалуй, одна из самых сложных задач при запуске нового продукта или услуги. A/B-тестирование (особенно актуально для цифровых товаров) — отличный способ выяснить, какие цены и предложения максимизируют общий доход.
Политическое A/B-тестирование
[ редактировать ]A/B-тесты также использовались в политических кампаниях . В 2007 году президентская кампания Барака Обамы использовала A/B-тестирование как способ привлечь внимание в Интернете и понять, что избиратели хотят видеть от кандидата в президенты. [ 24 ] Например, команда Обамы протестировала на своем веб-сайте четыре отдельные кнопки, которые побуждали пользователей подписаться на рассылку новостей. Кроме того, команда использовала шесть различных сопроводительных изображений, чтобы привлечь пользователей. С помощью A/B-тестирования сотрудники смогли определить, как эффективно привлечь избирателей и вызвать дополнительный интерес. [ 24 ]
Тестирование функций HTTP-маршрутизации и API
[ редактировать ]
A/B-тестирование очень распространено при развертывании новой версии API. [ 25 ] Для тестирования взаимодействия с пользователем в режиме реального времени -сервер HTTP уровня 7 обратный прокси настраивается таким образом, что N % HTTP- трафика поступает в более новую версию серверного экземпляра, а остальные 100 N % HTTP-трафика попадают в (стабильная) старая версия серверной службы приложений HTTP. [ 25 ] Обычно это делается для ограничения доступа клиентов к более новому экземпляру серверной части, так что в случае возникновения ошибки в более новой версии только N % от общего числа пользовательских агентов затрагивается или клиентов, в то время как другие перенаправляются на стабильную серверную часть, что является распространенным механизмом контроля доступа. [ 25 ]
Сегментация и таргетинг
[ редактировать ]A/B-тесты чаще всего применяют один и тот же вариант (например, элемент пользовательского интерфейса) с одинаковой вероятностью для всех пользователей. Однако в некоторых случаях реакция на варианты может быть неоднородной. То есть, в то время как вариант А может иметь более высокий процент откликов в целом, вариант Б может иметь еще более высокий процент откликов в определенном сегменте клиентской базы. [ 26 ]
Например, в приведенном выше примере разбивка ответов по полу могла бы быть следующей:
| Пол | Общий | Мужчины | Женщины |
|---|---|---|---|
| Всего отправлено | 2,000 | 1,000 | 1,000 |
| Всего ответов | 80 | 35 | 45 |
| Вариант А | 50 / 1,000 (5%) | 10 / 500 (2%) | 40 / 500 (8%) |
| Вариант Б | 30 / 1,000 (3%) | 25 / 500 (5%) | 5 / 500 (1%) |
В этом случае мы видим, что, хотя вариант А в целом имел более высокий уровень ответов, вариант Б на самом деле имел более высокий уровень ответов среди мужчин.
В результате компания может выбрать сегментированную стратегию в результате A/B-теста, отправив в будущем вариант B мужчинам, а вариант A — женщинам. В этом примере сегментированная стратегия приведет к увеличению ожидаемой доли ответов с к – что составляет увеличение на 30%.
Если от A/B-теста ожидаются сегментированные результаты, тест следует с самого начала правильно спланировать, чтобы равномерно распределить его по ключевым атрибутам клиента, таким как пол. То есть тест должен (а) содержать репрезентативную выборку мужчин и женщин и (б) случайным образом распределять мужчин и женщин по каждому «варианту» (вариант А против варианта Б). Несоблюдение этого требования может привести к систематической ошибке эксперимента и неверным выводам, сделанным по результатам теста. [ 27 ]
Этот подход сегментации и таргетинга можно дополнительно обобщить, включив в него несколько атрибутов клиента, а не один атрибут клиента (например, возраст и пол клиента), чтобы выявить более тонкие закономерности, которые могут существовать в результатах тестирования.
См. также
[ редактировать ]- Адаптивное управление
- Межгрупповой эксперимент по планированию
- Выбор моделирования
- Многорукий бандит
- Многовариантное тестирование
- Рандомизированное контролируемое исследование
- Научный контроль
- Стохастическое доминирование
- Статистика тестирования
Ссылки
[ редактировать ]- ^ Jump up to: а б Янг, Скотт WH (август 2014 г.). «Улучшение пользовательского опыта библиотеки с помощью A/B-тестирования: принципы и процесс» . Weave: Журнал опыта пользователей библиотеки . 1 (1). дои : 10.3998/weave.12535642.0001.101 . hdl : 2027/spo.12535642.0001.101 .
- ^ Кохави, Рон; Сюй, Я; Тан, Дайан (2000). Надежные контролируемые онлайн-эксперименты: практическое руководство по A/B-тестированию . Издательство Кембриджского университета. Архивировано из оригинала 22 октября 2021 года . Проверено 22 октября 2021 г.
- ^ Кохави, Рон; Лонгботэм, Роджер (2023). «Контролируемые онлайн-эксперименты и A/B-тесты» . В Пунге, Динь; Уэбб, Джефф; Саммут, Клод (ред.). Энциклопедия машинного обучения и науки о данных . Спрингер. стр. 891–892. дои : 10.1007/978-1-4899-7502-7_891-2 . ISBN 978-1-4899-7502-7 . Архивировано из оригинала 21 апреля 2023 года . Проверено 21 апреля 2023 г.
- ^ Jump up to: а б с Кохави, Рон; Томке, Стефан (сентябрь – октябрь 2017 г.). «Удивительная сила онлайн-экспериментов» . Гарвардское деловое обозрение . стр. 74–82. Архивировано из оригинала 14 августа 2021 года . Проверено 27 января 2020 г.
- ^ Jump up to: а б с Ханингтон, Дженна (12 июля 2012 г.). «Азбука A/B-тестирования» . Пардот . Архивировано из оригинала 24 декабря 2015 года . Проверено 21 февраля 2016 г.
- ^ Кохави, Рон; Лонгботэм, Роджер (2017). «Контролируемые онлайн-эксперименты и A/B-тестирование». Энциклопедия машинного обучения и интеллектуального анализа данных . стр. 922–929. дои : 10.1007/978-1-4899-7687-1_891 . ISBN 978-1-4899-7685-7 .
- ^ Jump up to: а б с Сюй, Я; Чен, Наньюй; Фернандес, Адриан; Синно, Омар; Бхасин, Анмол (10 августа 2015 г.). «От инфраструктуры к культуре: проблемы A/B-тестирования в крупномасштабных социальных сетях». Материалы 21-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . стр. 2227–2236. дои : 10.1145/2783258.2788602 . ISBN 9781450336642 . S2CID 15847833 .
- ^ Jump up to: а б Сирокер, Дэн; Кумен, Пит (7 августа 2013 г.). A/B-тестирование: самый мощный способ превратить кликов в клиентов . Джон Уайли и сыновья. ISBN 978-1-118-65920-5 . Архивировано из оригинала 17 августа 2021 года . Проверено 15 октября 2020 г.
- ^ «Руководство по сплит-тестированию интернет-магазинов» . webics.com.au. 27 августа 2012 года. Архивировано из оригинала 3 марта 2021 года . Проверено 28 августа 2012 г.
- ^ Кауфман, Эмили; Каппе, Оливье; Гаривье, Орельен (2014). «О сложности A/B-тестирования» (PDF) . Материалы 27-й конференции по теории обучения . Том. 35. стр. 461–481. arXiv : 1405.3224 . Бибкод : 2014arXiv1405.3224K . Архивировано (PDF) из оригинала 7 июля 2021 года . Проверено 27 февраля 2020 г.
- ^ Кристиан, Брайан (27 февраля 2000 г.). «А/Б-тест: внутри технологии, меняющей правила бизнеса» . Проводной бизнес . Архивировано из оригинала 17 марта 2014 года . Проверено 18 марта 2014 г.
- ^ Кристиан, Брайан. «Проверяйте все: заметки о революции A/B | Проводное предприятие» . Проводной . Архивировано из оригинала 16 марта 2014 года . Проверено 18 марта 2014 г.
- ^ Кори Доктороу (26 апреля 2012 г.). «A/B-тестирование: секретный двигатель творчества и совершенствования в 21 веке» . Боинг Боинг. Архивировано из оригинала 9 февраля 2014 года . Проверено 18 марта 2014 г.
- ^ Кришнамурти, К.; Томсон, Джессика (2004). «Более мощный тест для сравнения двух средних Пуассона». Журнал статистического планирования и выводов . 119 : 23–35. дои : 10.1016/S0378-3758(02)00408-1 . S2CID 26753532 .
- ^ Гупта, Сомит; Кохави, Ронни; Тан, Дайан; Сюй, Я; Андерсен, Рид; Бакши, Эйтан; Кардин, Найл; Чандран, Сумита; Чен, Наньюй; Кои, Доминик; Кертис, Майк; Дэн, Алекс; Дуань, Вэйтао; Форбс, Питер; Фраска, Брайан; Гай, Томми; Имбенс, Гвидо В.; Сен-Жак, Гийом; Кантавала, Пранав; Кацев Илья; Кацвер, Моше; Конутган, Микаэль; Кунакова Елена; Ли, Минён; Ли, MJ; Лю, Джозеф; МакКуин, Джеймс; Наджми, Амир; Смит, Брент; Трехан, Вивек; Вермеер, Лукас; Уокер, Тоби; Вонг, Джеффри; Яшков, Игорь (июнь 2019 г.). «Основные задачи первого саммита по практическим онлайн-саммитам по контролируемым экспериментам» . Исследования SIGKDD . 21 (1): 20–35. дои : 10.1145/3331651.3331655 . S2CID 153314606 . Архивировано из оригинала 13 октября 2021 года . Проверено 24 октября 2021 г.
- ^ Столберг, М. (декабрь 2006 г.). «Изобретение рандомизированного двойного слепого исследования: Нюрнбергский солевой тест 1835 года» . Журнал Королевского медицинского общества . 99 (12): 642–643. дои : 10.1177/014107680609901216 . ПМК 1676327 . ПМИД 17139070 .
- ^ «Что такое A/B-тестирование» . Конвертировать . Архивировано из оригинала 17 августа 2020 года . Проверено 28 января 2020 г.
- ^ «Клод Хопкинс превратил рекламу в науку» . Деловая газета инвестора . 20 декабря 2018 г. Архивировано из оригинала 10 августа 2021 г. Проверено 1 ноября 2019 г.
- ^ Перейра, Рон (20 июня 2007 г.). «Как пиво повлияло на статистику» . Блог. Академия Гемба . Архивировано из оригинала 5 января 2015 года . Проверено 22 июля 2014 г.
- ^ Коробка, Джоан Фишер (1987). «Гиннесс, Госсет, Фишер и малые образцы» . Статистическая наука . 2 (1): 45–52. дои : 10.1214/ss/1177013437 .
- ^ «A/B-тестирование: азбука платных социальных сетей» . В любом случае . 17 января 2020 года. Архивировано из оригинала 31 марта 2022 года . Проверено 8 апреля 2022 г.
- ^ «Математика A/B-тестирования» . разработчик.amazon.com . Архивировано из оригинала 21 сентября 2015 года . Проверено 12 апреля 2015 г.
- ^ Кохави, Рон; Лонгботэм, Роджер; Соммерфилд, Дэн; Хенне, Рэндал М. (февраль 2009 г.). «Контролируемые эксперименты в сети: обзор и практическое руководство» . Интеллектуальный анализ данных и обнаружение знаний . 18 (1): 140–181. дои : 10.1007/s10618-008-0114-1 . S2CID 17165746 .
- ^ Jump up to: а б Сирокер, Дэн; Кумен, Пит (7 августа 2013 г.). A/B-тестирование: самый мощный способ превратить кликов в клиентов . Джон Уайли и сыновья. ISBN 978-1-118-65920-5 . Архивировано из оригинала 17 августа 2021 года . Проверено 15 октября 2020 г.
- ^ Jump up to: а б с Шуч, Шандор (2018). Современная HTTP-маршрутизация (PDF) . ЛИЗА 2018. Usenix.org . Архивировано (PDF) из оригинала 1 сентября 2021 года . Проверено 1 сентября 2021 г.
- ^ «Продвинутые приемы A/B-тестирования, которые вам следует знать | Тестирование и удобство использования» . Онлайн-поведение.com . Архивировано из оригинала 19 марта 2014 года . Проверено 18 марта 2014 г.
- ^ «Восемь причин, по которым вы неправильно настроили A/B-тест» . Доктор Джейсон Дэвис . 12 сентября 2013 года. Архивировано из оригинала 18 марта 2014 года . Проверено 18 марта 2014 г. [ самостоятельный источник ]