Как устроены модели SOFROS AI/ML: классификация, NER, семантический поиск и защита PII

В предыдущих статьях цикла разобрали, почему НСИ деградирует и как устроен сервис SOFROS AI/ML в целом. Теперь — детальный разбор самих моделей, которые превращают «сырые» записи в структурированные справочники.

Модель классификации построена на наивном байесовском классификаторе с поддержкой опечаток, n-грамм и нечёткого поиска. Для извлечения именованных сущностей (NER) используется spaCy и beam search. Семантический поиск реализован через BERT, FAISS и реранкер, а контекстное обогащение данных обращается к веб-источникам.

Отдельно описана классификация PII (персональных данных) — она обеспечивает безопасность при обработке информации. Все модели доступны через REST API и интегрируются с корпоративными системами.