Как Авито внедрило LLM в модерацию объявлений: опыт продакшена

Руслан Сакаев, DS-тимлид Авито, поделился опытом внедрения больших языковых моделей в модерацию объявлений. Решение уже работает в продакшене, но чтобы оно выдержало нагрузку, вокруг модели пришлось достроить целую инфраструктуру.

Автор подчёркивает: LLM закрывает саму задачу, но для промышленного использования нужны дополнительные механизмы — контроль качества, обработка ошибок, мониторинг, вероятно, и апелляции. Без этого модель остаётся лишь прототипом, а не частью сервиса.

Статья будет полезна DS/ML-инженерам, MLOps-специалистам и техническим руководителям, которые уже убедились, что LLM решает их задачу, но ещё не понимают, как превратить эксперимент в надёжное продакшн-решение.