Инженерия инференса: как выжать максимум из модели после обучения — обзор книги Филиппа Кили

Пользователям важна не только точность модели, но и скорость работы, отсутствие зависаний и адекватная цена токенов. Если модель тормозит или стоит дорого, её популярность падает — даже при отличных бенчмарках. Именно поэтому этап инференса (вывода) требует серьёзной оптимизации.

Книга «Инженерия инференса» (Inference Engineering) посвящена практическим аспектам развёртывания моделей: выбор оборудования, ускорение ответов, работа с пиковыми нагрузками и баланс между производительностью и стоимостью. Автор, Филипп Кили, делится опытом, как не потратить на инфраструктуру больше, чем продукт сможет принести.