SOFROS AI/ML: заглядываем под капот сервиса нормализации данных

SOFROS AI/ML — сервис, который автоматизирует атрибутивную нормализацию: от извлечения характеристик до валидации и устранения дубликатов. В первой части авторы описали методологию, теперь делятся деталями внутреннего устройства.

Внутри — гибридные модели: классические ML-алгоритмы и большие языковые модели, каждая отвечает за свой этап обработки. Архитектура построена так, чтобы сервис можно было интегрировать с корпоративными системами — 1С:MDM, SAP и другими — через REST API.

Отдельное внимание уделено безопасности: сервис спроектирован с учётом требований ФЗ-152 о персональных данных. Статья будет полезна тем, кто выбирает инструменты для нормализации справочников и хочет понять, как это работает изнутри.