Одна строка в системном промпте отключает кеш целиком — с 98% до 1% попаданий

Кеш провайдера работает как префиксное дерево: он совпадает с предыдущим запросом до первого расхождения токенов. Одна строка вида Current time: {datetime.now()} в начале системного промпта делает каждый запрос уникальным — время меняется на четвёртом слове, и оставшиеся тысячи токенов политик и базы знаний оплачиваются заново. Разница в цене колоссальная: у DeepSeek токен из кеша стоит $0.014 за миллион против $0.44 без кеша (в 31 раз), у OpenAI — $0.40 против $4.00 (в 10 раз).

Автор провёл замеры на живых вызовах DeepSeek: один и тот же агент, четыре одинаковых вопроса, та же минута — только время либо статическое, либо динамическое. Результат: 1152 из 1180 токенов из кеша против нуля. Затем направил профайлер на 97 877 собственных вызовов Claude Code — 32,5 млрд входных токенов, из которых 98% оказались из кеша.

Помимо времени, есть и другие неочевидные поломки: схемы инструментов из словаря с плавающим порядком ключей, база знаний из set(), случай, когда префикс совпал, а кеша нет. Автор открыл инструмент для проверки промпта: github.com/Isk4R1oT/prefixcash — он поможет найти и исправить такие проблемы.

Отрицательный контроль тоже показателен: есть сценарии, где устранение динамической строки не даёт прироста, и инструмент честно об этом сообщает. Так что не все «фиксы» — реальные win.