LLM как энкодер вместо генератора: как классифицировать сотни классов без промптинга

Обычный подход к классификации текста с помощью LLM — попросить модель через промпт выдать нужный класс. Это работает, когда классов мало, но при 100+ или даже 20-30 классах контекст раздувается, появляются галлюцинации, а инференс растягивается на десятки секунд.

Авторы пошли другим путём: использовать LLM не как генератор, а как энкодер, на который сверху крепится классификационная голова. Такой подход позволяет избавиться от громоздких промптов и сохранить качество при большом числе классов.

В статье приводятся результаты тестов на четырёх разных доменах банка. Генеративные модели сравниваются с классическими энкодерами. Подробности — в материале на Хабре.