A/B-тест калькулятор · Статзначимость · Выборка · LLM-интерпретация
A/B Testing · Statistical Inference · LLM

Калькулятор A/B-тестов для банков и финтеха

В банках и финтех-компаниях каждое продуктовое решение влияет на миллионы транзакций. Новая кнопка в мобильном приложении, изменённый скоринговый экран, переработанный онбординг — всё это требует доказательств, а не догадок. Этот инструмент позволяет принимать статистически обоснованные решения без Excel-таблиц и без аналитика под рукой.

💳 Конверсия в оформление карты
📱 Активация мобильного банка
📋 Заявка на кредит / ипотеку
🔔 CTR push-уведомлений
💸 Конверсия в первый платёж
🔄 Retention после онбординга
📐 Методология
Z-тест для пропорций Сравнивает конверсии двух независимых групп. Двусторонний тест — засекает улучшение и ухудшение. Формула: z = (pB − pA) / SE(pPool)
P-value и уровень доверия Порог значимости α = 0.05: вероятность ложной тревоги не выше 5%. Уровень доверия 95% — стандарт для продуктовых решений в финтехе.
Размер выборки (Sample Size) Рассчитывается через MDE, мощность теста (1−β) и α. Метод: аппроксимация Beasley–Springer–Moro для обратного нормального CDF.
LLM-интерпретация Результаты передаются в языковую модель (Claude, GPT, DeepSeek, Qwen, Zhipu) с промптом, заточенным под контекст продуктового менеджера в финтехе.
📖 Как пользоваться — пошаговая инструкция
1
Запланируйте тест
Перейдите на вкладку «Размер выборки». Введите текущую конверсию (baseline), минимальный эффект, который важен бизнесу (MDE), и дневной трафик. Калькулятор покажет, сколько пользователей нужно набрать и сколько дней займёт тест.
2
Дождитесь окончания теста
Не останавливайте тест раньше срока — ранняя остановка (peeking problem) завышает статзначимость. Дайте набрать расчётную выборку целиком.
3
Проверьте значимость
На вкладке «Значимость теста» введите итоговые данные обеих групп. Если p-value < 0.05 и уровень доверия ≥ 95% — результат значим, можно раскатывать вариант B.
4
Получите LLM-интерпретацию
Добавьте API-ключ на вкладке «API-ключ» и нажмите «Получить LLM-интерпретацию». Модель объяснит результат языком продуктового менеджера и даст рекомендацию.
Словарь: Конверсия — доля пользователей, совершивших целевое действие MDE — минимальный детектируемый эффект: наименьший прирост, который важен бизнесу Uplift — прирост конверсии варианта B относительно контроля A P-value — вероятность получить такой результат случайно; чем меньше, тем лучше Z-score — количество стандартных отклонений между группами Мощность теста — вероятность обнаружить реальный эффект (обычно 80%)
Введите данные теста
Группа A — Контроль
— %
VS
Группа B — Вариант
— %
Результаты
Введите данные и нажмите «Рассчитать»