Как мы снизили расходы на LLM с $2000 до $30 в месяц: замена Claude Sonnet на дешёвую модель

Каждую ночь JobPath обрабатывает свежие вакансии из открытых источников и Telegram-каналов, превращая сырой текст в структурированные карточки. Изначально для этой задачи использовали Claude Sonnet — модель работала отлично, но расходы росли: при текущем объёме прогноз выходил на $2000 в месяц, и эта цифра увеличивалась вместе с каталогом.

Чтобы не разориться, команда перешла на более дешёвую LLM. В результате затраты упали до $30 в месяц — экономия более чем в 66 раз. Однако у такого решения есть и обратная сторона: качество структурирования снизилось, появились ошибки в разметке, которые приходится исправлять вручную или дообучать модель.

Авторы делятся практическим опытом: как выбирали замену, настраивали пайплайн и какие компромиссы пришлось принять. Кейс полезен всем, кто использует LLM в продакшене и хочет оптимизировать бюджет без полной потери качества.