Специализация словаря малых языковых моделей сокращает расходы на инференс на 77%

Small Language Models (SLM) компактны и быстры, но их универсальный токенизатор часто неэффективен для предметных областей — юридических, медицинских или технических текстов. Каждый лишний токен увеличивает стоимость инференса, особенно на edge-устройствах.

Авторы предложили специализировать вокабуляр SLM под конкретную задачу: переобучить токенизатор на корпусе целевой области и заменить им стандартный словарь. Это сократило среднюю длину входной последовательности на 60–77%, а время инференса — пропорционально. Точность модели при этом не снизилась, а для некоторых доменов даже немного выросла.

Метод особенно полезен для развёртывания SLM на мобильных устройствах, в вебе и в IoT-сценариях, где каждый ватт и миллисекунда на счету. Работа доступна на Hugging Face с открытым кодом и примерами для нескольких доменов.