ИИ-тренер для бегунов: почему модель не должна знать бизнес-правила — разбор ошибки

Автор несколько месяцев разрабатывает AI-тренера для бегунов в Telegram — назвал его Клод де Пейс. В какой-то момент он добавил возможность менять расписание по свободной фразе в чате. Первый же реальный тест показал проблему: пользователь написал «поменяй мне лёгкую в субботу», имея в виду перенести лёгкую тренировку на субботу. Модель перенесла её в четверг — потому что в четверг у пользователя уже стояла лёгкая тренировка, и модель сопоставила «easy» и «Saturday» с ближайшим объектом.

Расследование показало, что с точки зрения классификации модель сработала правильно (confidence: 0.92), но с точки зрения пользователя — совсем не то, о чём он просил. Автор сделал ключевой вывод: модель не обязана знать, какие ограничения являются бизнес-инвариантами продукта — это должен кодировать разработчик. Код обязан это знать, модель — нет.