Как LLM оживили A/B-тесты в Дзене: от сломанной аналитики к отчётам с ИИ-аналитиком

Руководитель группы технической аналитики Дзена Михаил Рязанский и лид ML-аналитики Марк Хабаров рассказали, как они подружили LLM с A/B-тестами. Проблема была в сломанном BI: аналитики тратили уйму времени на ручную интерпретацию результатов, а бизнес не получал оперативных выводов.

Решение — встроить LLM прямо в пайплайн анализа. Модель автоматически обрабатывает данные эксперимента, выделяет значимые изменения, формулирует выводы на естественном языке и упаковывает всё в удобный HTML-отчёт. Получился инструмент, который не просто показывает цифры, а даёт готовую аналитику.

По словам авторов, путь был тернистым: пришлось переработать архитектуру, научить модель не галлюцинировать на статистике и сделать отчёты читаемыми для неспециалистов. Но результат того стоил — теперь команда тратит на анализ тестов в разы меньше времени, а бизнес получает понятные инсайты.