Tencent открыла AngelSpec: фреймворк для тренировки «черновиков» ИИ, которые подстраиваются под нагрузку

Tencent выложила в открытый доступ AngelSpec — фреймворк для тренировки моделей-черновиков (draft models), используемых в спекулятивном декодинге. Идея в том, чтобы ускорить инференс больших языковых моделей без потери качества: лёгкий черновик предлагает несколько будущих токенов, а основная модель проверяет их за один проход. Проблема в том, что один универсальный драфтер плохо работает под разную нагрузку — в разговорах длинные цепочки токенов редко принимаются, а в коде и математике — наоборот.

AngelSpec решает это двумя специализированными драфтерами: MTP-модель (авторегрессивное предсказание нескольких токенов) тренируется на разговорных данных, а блок-параллельная DFlash — на коде и математике. Для MTP авторы применили технику Training-Time Test из EAGLE-3: во время обучения черновик разворачивается на D шагов, и на каждом шаге получает не истинный токен, а предсказание с предыдущего шага. Параметры общие, но супервизия на каждом шаге своя — основная модель заморожена, а данные генерируются самой целевой моделью (target-model rollout).

Результаты: при температуре 0 средняя вероятность принятия токена выросла с 52.8% до 66.4%, а средняя длина принятой последовательности — с 2.58 до 2.99. Особенно заметен прирост на глубоких позициях: на GSM8K p3 вырос с 0.290 до 0.706, на HumanEval — с 0.387 до 0.757. Фреймворк написан на torch-native и доступен на GitHub.