Как мы с Claude Code оценивали RAG-систему: история без прикрас

На Хабре вышла статья о том, как с помощью Claude Code автоматизировать оценку качества RAG-системы. Автор проходил курс по вайб-воркингу (для непрограммистов) на Stepik и решил применить AI-ассистента к реальной задаче — вместо готовых библиотек вроде RAGAS, которые требуют навыков программирования.

Идея была в том, чтобы переложить рутинные операции оценки на ИИ. Но в процессе выяснилось: полностью без кода не обошлось — автор признаёт, что это, возможно, профессиональная деформация, но честно рассказывает о всех проблемах.

Статья будет полезна всем, кто хочет ускорить валидацию RAG-пайплайнов с помощью ИИ-ассистентов, но готов к тому, что автоматизация — это не волшебная таблетка.