AB and stats

A/B-тест

A/B test

контрольная группа

control group

экспериментальная группа

treatment group

сформулировать гипотезу

formulate a hypothesis

нулевая гипотеза

null hypothesis

альтернативная гипотеза

alternative hypothesis

статистически значимый результат

statistically significant result

практически значимый результат

practically significant result

p-значение

p-value

доверительный интервал

confidence interval

уровень значимости

significance level

статистическая мощность

statistical power

минимальный обнаруживаемый эффект

minimum detectable effect

размер выборки

sample size

продолжительность эксперимента

experiment duration

случайное распределение пользователей

random assignment of users

нарушение соотношения выборок

sample ratio mismatch

эффект новизны

novelty effect

сезонность

seasonality

дисперсия метрики

metric variance

снижение дисперсии

variance reduction

поправка на множественные сравнения

multiple-comparison correction

неоднородный эффект воздействия

heterogeneous treatment effect

анализ по сегментам

segment-level analysis

причинно-следственный анализ

causal inference

корреляция не означает причинность

Correlation does not imply causation.

систематическая ошибка отбора

selection bias

систематическая ошибка выжившего

survivorship bias

смешивающий фактор

confounding factor

прирост метрики

metric uplift

базовый уровень

baseline

дополнительный эффект

incremental effect

ложноположительный результат

false positive

ложноотрицательный результат

false negative

этап подготовки эксперимента

pre-test stage

анализ после эксперимента

post-test analysis

постепенное увеличение трафика

gradual traffic ramp-up

отложенная контрольная группа

holdout group

правило остановки эксперимента

experiment stopping rule

результат не повлиял на защитные метрики

The result did not negatively affect the guardrail metrics.