Пилот, который сам собирает себе разметку: старт без года ожидания

Обычно данные для обучения модели можно привести в порядок заранее, но с разметкой аномалий это не работает: никто не отмечал задним числом, где была аномалия, а где норма. Вердикты можно выносить только на живом потоке, а отдельный этап сбора разметки занял бы от полугода до года, и все это время система простаивала бы.

Компания сокращает путь: разворачивает пилот, который сам производит разметку, одновременно работая и принося пользу. Подход отработан на разных задачах, в статье показан на контроле закупок — поиске завышенных цен и нецелевых трат. Запускаться можно, даже если эталон рыночной цены еще не готов.

Просто взять модель не получится: обучение с учителем вести не на чем, обучение без учителя на редких событиях дает ложные срабатывания, а большая языковая модель без эталона уверенно называет завышенную цену рыночной. Поэтому сначала запускают слой на правилах, а модель подключают позже — он же становится машиной для сбора разметки.