Исследования
ACE с меньшим количеством токенов: новый метод от Hugging Face
ACE (Agentic Chain-of-Thought) — популярный подход для сложных задач, но он требует много токенов, что дорого и медленно. Команда Hugging Face предложила технику, которая сокращает расход токенов в несколько раз, сохраняя точность.
Метод основан на сжатии промежуточных рассуждений и удалении избыточных шагов. В тестах на бенчмарках новый подход показал сопоставимые результаты с полным ACE, но при вдвое меньшем числе токенов.
Это особенно важно для продакшн-систем, где каждый токен стоит денег. Решение уже доступно в открытом виде на Hugging Face.
Источник: huggingface.co