Эксперимент: два из девяти популярных скиллов для Claude Code оказались полезнее пустышки, один — хуже

Автор провёл 450 тестов на SWE-bench и Terminal-Bench: агент решал задачи со скиллом, с пустышкой (нейтральным текстом той же длины) и вообще без ничего. Выяснилось, что superpowers, набравший почти 300 тысяч звёзд, не дал прироста относительно пустышки. Один из девяти скиллов оказался хуже неё — его использование снижало результаты.

Только два скилла действительно улучшили работу агента. При этом ни один из девяти не сделал выполнение задач дешевле, чем без скилла: часть затрат уходит на то, что скилл просто лежит в контексте. В день публикации автор обнаружил ошибку в своей методологии, которая изменила один из вердиктов — подробности он раскрывает в статье.