Не классифицируйте — галлюцинируйте: новый трюк для тегирования контента с помощью LLM

У автора блога 1856 тегов — слишком много, чтобы скормить их LLM и попросить выбрать подходящие для нового контента. Дугла Тёрнбулл предложил элегантное решение: пусть модель «галлюцинирует» — придумывает теги с нуля, не зная существующего словаря. Затем с помощью векторных эмбеддингов находятся реальные теги, ближайшие к воображаемым.

В примере для каталога мебели модель просят создать новые, невиданные ранее классификации вроде «Мебель / Гостиная / Журнальные столики». После генерации эмбеддинги сопоставляют их с существующими тегами. Это позволяет не перегружать LLM контекстом и получать точные совпадения.

Метод особенно полезен для больших блогов и каталогов, где ручная разметка непрактична, а прямой выбор из списка — слишком дорог для LLM.