Яндекс сократил потребление GPU для агента «Исследовать» в Алисе без изменения весов модели

Режим «Исследовать» в чате с Алисой AI — это аналог Deep Research: агент строит план, делает сотни поисков, заходит на сайты с динамическим JavaScript, пишет и выполняет Python-код, работает с файлами. За год он прошёл путь от прототипа до продакшена.

Продуктовые цели ставил продакт-менеджер Руслан Илиев: он определил набор инструментов и валидационный набор запросов. Команда под руководством лида Прохора перебрала десятки слоёв обвязки, выбросила первый прототип и вынесла несколько болезненных уроков.

Главное достижение — удалось в разы сократить потребление GPU, не трогая веса модели. Как именно — авторы обещают раскрыть под катом. Результат: агент стал быстрее и дешевле, сохранив качество ответов на сложные запросы вроде планирования путешествия.