Поиск
  • Artur Litvinenko

§2 A/B тесты

Тесты были придуманы, чтобы упростить процесс принятия решений. Тестирование стало научным инструментом, помогающим находить статистически значимые отличия между группами объектов.


Тестирование применяется, только к случайным величинам. В экспериментах, где были или могли быть получены разные значения измеряемой величины, при прочих равных условиях. Пример случайной величины - конверсия в покупку на сайте, или средняя сумма покупки.


Решения важно принимать в разных ситуациях, поэтому есть много форматов тестов, например:

  1. T-критерий Стьюдента

  2. Chi-квадрат Пирсона

  3. Q-критерий Кохрена

  4. Z-оценка


Критерий Стьюдента разработан Уильямом Госсетом, для оценки качества пива в компании Guinness. Уильям опубликовал его под псевдонимом Student, втайне от работодателя. Компания Guinness считала коммерческой тайной - использование статистического аппарата в своей работе.

А вот факторы, влияющие на выбор теста под эксперимент:

  1. Случайная величина: - дискретная - непрерывная

  2. Размер групп: - разный - примерно одинаковый

  3. Размер групп: - маленький < ~144 - большой > ~144

  4. Какой тип распределения случайной величины: - нормальное распределение - t-распределение - без учета распределения, для непараметрических критериев

  5. Какая интерпретация результатов: - частотная - Байесовская


Самый простой способ оценить результат теста - использовать AB-калькулятор. Но советую проверять сразу в нескольких, чтобы не было таких или других ошибок.


Изменил порядок групп в калькуляторе.


В первом случае калькулятор считает изменения значимыми, а во втором нет.

Источник - https://abtestguide.com/calc/

Проверка значимости теста на разных калькуляторах.

В первом случае калькулятор, считает изменения значимыми, а во втором нет.

Источники: https://www.evanmiller.org/ab-testing/chi-squared.html http://www.abtestcalculator.com/

Лучший совет: Сделать свой калькулятор.

Просмотров: 6

Киев, Украина

ул. Дмитриевская, 80

+380 (98) 514 43 77 
is@arcanefuture.com 

  • linkedin
  • facebook