Как A/B-тесты в Wildberries преодолели барьеры нерандомизированных данных с DML

В мире A/B-тестирования есть одна классическая проблема: как оценить эффективность рекламы, когда данные не собраны в контролируемых условиях, а пользователи сами выбирают, где и как взаимодействовать с маркетплейтом. Команда RWB столкнулась с этим в проекте по анализу рекламы в офлайн-пунктах Wildberries (ПВЗ) — там нет случайного распределения пользователей между группами, как в классических экспериментах. Дата-аналитик Платон Попов поделился, как команда сначала использовала метод псевдорандомизации (Propensity Score Matching, PSM), но понял, что этого недостаточно для точной оценки причинно-следственных связей.

PSM позволяет сбалансировать группы по наблюдаемым факторам, но не учитывает скрытые переменные — например, предпочтения пользователей или их поведение до начала эксперимента, которые могут искажать результаты. «Мы пытались выровнять группы по всем известным нам признакам, но оставался риск, что неучтенные факторы всё равно влияют на результат», — объясняет Попов. В итоге команда перешла к Double Machine Learning (DML), методу, который объединяет машинное обучение для оценки среднего эффекта лечения (ATE) без необходимости рандомизации.

DML позволяет учитывать как наблюдаемые, так и неobserved confounders — переменные, которые одновременно влияют на выбор группы и на результат. По словам Попова, ключевое преимущество DML в том, что он автоматически корректирует оценку на основе данных, минимизируя смещение. «Мы протестировали метод на реальных данных и получили более стабильные и интерпретируемые результаты по сравнению с PSM», — отмечает эксперт.

Теперь команда планирует внедрить DML в промышленный масштаб для оценки других нерандомизированных экспериментов, где рандомизация невозможна или неэффективна. Это может касаться как рекламных кампаний, так и других бизнес-процессов, где данные собираются в реальных условиях. Для тех, кто не знаком с терминологией: причинно-следственный анализ (Causal Inference) — это раздел статистики, который помогает понять, действительно ли одна переменная вызывает изменение другой, а не просто коррелирует с ней.

В случае с рекламой в ПВЗ Wildberries речь идёт о том, чтобы понять, насколько именно реклама влияет на продажи, а не просто сопоставлять группы пользователей с разными доходами или местом проживания. DML здесь выступает как инструмент, который позволяет «отключить» влияние этих факторов и получить чистую оценку эффекта. Важно отметить, что методы типа DML не заменяют рандомизированные эксперименты, где случайность распределения минимизирует смещение по умолчанию.

Однако в реальных бизнес-процессах рандомизация часто невозможна, и именно тогда на помощь приходят альтернативные подходы. Попов подчеркивает, что внедрение DML требует тщательной валидации и понимания данных: «Метод работает хорошо, если у вас достаточно качественных данных и вы правильно настроили модели. Но как и любой инструмент, он не универсален и требует осторожного применения».