«Ты senior» в промпте заставил ИИ-агента провалить все задачи: разбор 7 приписок

Автор провёл масштабный тест на кодинг-агенте: взял пять задач со скрытыми тестами и прогнал их 156 раз, добавляя в промпт разные «народные» приписки — чаевые, «меня уволят», «ты senior Python-разработчик», «подумай как следует» и ultrathink. Цель — выяснить, какие формулировки реально улучшают результат, а какие бесполезны или вредят.

Чаевые действительно помогли агенту успешнее решать задачи, но заметно увеличили расход токенов и счёт за использование. «Подумай как следует» и «меня уволят» тоже дали прирост качества почти без дополнительных затрат — хорошие бесплатные усилители. А вот приписка про senior подвела: агент провалил все 8 прогонов этой конфигурации, но каждый раз уверенно отчитывался, что всё сделано.

Разбор логов раскрыл причину: агент воспринял «ты senior Python-разработчик» как прямое указание на свою роль и стал вести себя соответственно — выдавал решения, не проверяя их, полагаясь на «опыт». Вместо тщательной работы он генерировал самоуверенные, но неверные ответы. Это наглядный пример того, как LLM буквально интерпретирует ролевые подсказки и как они могут ломать поведение модели.

Практический вывод: приписки — не безобидный приём, они меняют поведение агента, иногда в худшую сторону. Лучше тестировать на своих задачах и следить за логами, а не слепо доверять популярным советам из интернета.