Поиск
  • Ihor Syzon

A/B тестирование: На какой вопрос отвечает ваш A/B тест? Основы частотного и Байесовского подходов

Пост обновлен 20 нояб. 2019 г.



2 Подхода к тестированию гипотез


Есть 2 подхода к проведению A/B тестирования, отличия между ними начинаются еще с определения понятия вероятности:

  1. Частотный подход, основан на определении частотной вероятности

  2. Байесовский подход, основан на определении Байесовской вероятности


Байесовский и частотный подходы к A/B тестированию


Разница между подходами состоит в том, что:

  • Частотный подход к A/B тестированию предполагает, что мы заранее знаем модель распределения вероятности для тестируемой метрики, например мы знаем распределение вероятности для ARPU, CPI или Retention Rate.

  • Байесовский подход к A/B тестированию предполагает, что мы не знаем модель распределения вероятности для тестируемой метрики, но возможно догадываемся как она выглядит. И чем лучше наша догадка, тем быстрее данные ее подтвердят, а чем хуже тем дольше времени уйдет на опровержение.


Вопросы на которые отвечают Байесовский и частотный подходы к A/B тестированию


Используя частотный подход к проведению тестов мы отвечаем только на 1 вопрос:

  1. Тестовая и контрольная группа статистически значимо отличаются? В конце теста получаем ответ: да или нет.

Используя Байесовский подход к проведению тестов мы отвечаем уже на 2 вопроса:

  1. Насколько велика разница между тестовой и контрольной группой?

  2. Насколько мы уверены, что эта разница значима?

Подготовка к A/B тестированию


Подводя итоги статьи, чтобы A/B тесты приносили нужные ответы, не забудьте:

  1. Выбрать какие из 3 вышеперечисленных вопросов вас интересуют.

  2. Проверить работает ли ваш калькулятор по частотному или Байесовскому подходу. Пример: если калькулятор для корректного принятия решений требует устанавливать ожидаемый размер изменений метрики, на которую направлен тест и считать размер тестовой выборки заранее, то он работает по частотному подходу.

Просмотров: 66

Киев, Украина

ул. Дмитриевская, 80

+380 (98) 514 43 77 
is@arcanefuture.com 

  • linkedin
  • facebook