Слабый ИИ с жёсткой верификацией обгоняет сильный без проверки — восьмимесячный эксперимент

Автор соглашается с недавним выводом о том, что самая дешёвая модель в линейке может оказаться выгоднее по стоимости решённой задачи, но добавляет ключевой нюанс: всё упирается не только в модель, а в то, что происходит после генерации кода. Восемь месяцев он экспериментировал с агентной архитектурой, где модель обязана не просто создать файлы, но и доказать, что они работают.

Выяснилось, что если прикрутить к слабой модели строгую верификацию, она уверенно обходит сильную модель, работающую в режиме однократной генерации без обратной связи. В статье приведены конкретные цифры, схема архитектуры и описание подводных камней, с которыми столкнулся разработчик.