Строим базу киберугроз для LLM-агентов: опыт интеграции PDF, CVE и статей

Задача казалась простой: собрать PDF-документы, CVE-записи и статьи по кибербезопасности в единую базу, а затем через HTTP API отдавать LLM-агенту подходящие фрагменты. На доске всё укладывалось в цепочку: загрузка, извлечение текста, разбивка на чанки, векторизация и поиск.

Рабочий прототип действительно появился быстро, но настоящая работа началась, когда потребовалось обеспечить качество поиска, обработку разнородных форматов и масштабирование. Подробности — в полной статье на Habr.