DML vs PSM: как Wildberries ускорил оценку нерандомизированных экспериментов

Дата-аналитики Wildberries из команды A/B-платформы RWB столкнулись с задачей оценки эффективности рекламы в пунктах выдачи заказов. Классический t-тест не подходил из-за нерандомизированного характера эксперимента — мешали спутывающие факторы (confounders).

Сначала применили Propensity Score Matching (PSM), но он не полностью устранил смещение. Тогда перешли на Double Machine Learning (DML) — метод, который использует два этапа машинного обучения для коррекции искажений. DML показал более стабильные и быстрые результаты, чем PSM.

Сейчас команда планирует масштабировать DML для промышленной оценки нерандомизированных экспериментов на платформе. Статья подробно разбирает кейс, код и сравнение метрик.