8 хв читання
Скільки має тривати A/B-тест: від розміру вибірки до цілих тижнів
Скільки має тривати A/B-тест: ділимо потрібну вибірку на щоденний трафік, округлюємо до цілих тижнів і враховуємо ефект новизни та розпродажі.
Статті на тему «Дизайн A/B-тесту»
RSS-стрічкаСтатті для продакт-менеджерів і маркетологів на тему «Дизайн A/B-тесту»: прості пояснення, приклади й типові помилки.
8 хв читання
Мінімальний виявлюваний ефект (MDE): як обрати його для A/B-тесту
Що таке мінімальний виявлюваний ефект (MDE), чим відносний MDE відрізняється від абсолютного і як обрати його з огляду на гроші й трафік.
8 хв читання
Підглядання в A/B-тестах: чому «вже значущий» — ще не результат
Підглядання в A/B-тестах множить хибні перемоги: у 100 000 симульованих A/A-тестів щоденні перевірки дали 27,6 % помилок замість 5 %. Що робити натомість.
8 хв читання
Розмір вибірки для A/B-тесту: скільки потрібно користувачів
Як розрахувати розмір вибірки для A/B-тесту з базового рівня, MDE, потужності й рівня значущості: приклад із числами та типові помилки.
7 хв читання
Кореляція і причинність у продуктовій аналітиці
Кореляція і причинність для продуктових команд: конфаундери, зворотна причинність, зміщення вибірки і як перевірити причинність експериментом.