8 выводов о продакшене открытых LLM: опыт WB-Tech с llama.cpp, Gemma и Qwen

Команда WB-Tech, занимающаяся развёртыванием и сопровождением открытых LLM и агентных систем, опубликовала статью с восьмью выводами, основанными на реальном опыте работы с моделями llama.cpp, Gemma и Qwen. Авторы отмечают, что после месяцев непрерывной работы всплывают неочевидные проблемы: сбои под нагрузкой, инженерные компромиссы и необходимость пересматривать первоначальные решения.

Большинство клиентов выбирают локальное развёртывание из-за конфиденциальности данных, предсказуемой стоимости на больших объёмах и независимости от внешних API. Однако в продакшене основная работа связана не с выбором самой LLM, а с настройкой инференса, промптов, агентной оркестрации, структуры ответов, управления контекстом, параметров генерации и даже хранения весов модели. Статья будет полезна всем, кто уже использует открытые модели в production или только планирует.