tokenizers v1: Hugging Face замерила скорость и масштабирование токенизаторов

Hugging Face анонсировала стабильный релиз tokenizers v1 — библиотеки для токенизации текста, используемой в большинстве современных LLM. В новой версии упор сделан на скорость кодирования и декодирования, а также на предсказуемое масштабирование при росте нагрузки.

Разработчики провели серию замеров: tokenizers v1 обрабатывает до 2,5 млн токенов в секунду на одном CPU, что на 30% быстрее предыдущей версии. Поддерживаются все популярные токенизаторы, включая BPE, WordPiece и SentencePiece. Релиз уже доступен для установки через pip.

Обновление не меняет API, но снижает задержки при батч-обработке и улучшает использование памяти. Это важно для продакшн-систем, где токенизация становится узким местом.