«Просто развернуть LLM на триллион параметров»: что на самом деле пришлось построить в Битрикс24

Когда речь заходит о «просто развернуть свою LLM на 1 триллион параметров», главная сложность — слово «просто». Модель может уже работать, но дальше начинается инженерная рутина: чаты, длинные документы и агенты упираются в одни и те же мощности, и приходится решать, кто будет ждать, а кто получит ресурсы первым.

В Битрикс24 на конференции Saint HighLoad++ разобрали, как достраивать платформу вокруг гигантской модели: приоритизацию запросов, утилизацию GPU между пиками нагрузки и проверку того, что очередная оптимизация не ухудшила качество ответов. Пошагово показали, какие компоненты инфраструктуры нужны, чтобы большая LLM реально работала в продукте, а не просто числилась развёрнутой.