Свой QA-фреймворк для ML-моделей: не Data Scientist, но захватил мир тестирования

Полгода назад она проектировала и обучала агента для проверки ТЗ. Теперь взялась за тестирование ML — и вместо пары экспериментов получился отдельный QA-фреймворк.

Инструмент берёт готовую модель, собирает её контракт (входные/выходные данные, метрики) и сам решает, какие проверки применить. Результаты классифицируются как PASS, FAIL, WARN или SKIP — без ручного вмешательства.

История интересна как пример инженерного подхода: человек без профильного DS-образования построил систему, которая автоматизирует рутинное тестирование моделей. Универсальность решения пока под вопросом, но идея рабочая.