Опыт создания агрегатора ИБ-новостей: от rut5_base_sum_gazeta до гибридной формулы важности

Идея агрегатора новостей по кибербезопасности без инфошума возникла давно. Первую версию реализовали на модели суммаризации rut5_base_sum_gazeta, а важность определяли с помощью textrank. Результат оказался неудовлетворительным.

Позже появились сервисы с настраиваемой лентой, но оптимального решения не нашлось: либо слишком широкая подборка, либо слишком узкая. Месяцы ушли на тюнинг, но качество не улучшалось — при высоком пороге канал молчал сутки, при низком в ленту попадали вебинары и пресс-релизы.

В итоге родилось гибридное решение: важность теперь рассчитывается по формуле из семи признаков, все данные логируются, а модель пишет тексты и отсеивает нерелевантное. Этот подход позволил добиться стабильного качества отбора.