ttok 1.0: Саймон Уиллисон переключил подсчёт токенов на GPT-5/GPT-6

Саймон Уиллисон выпустил ttok 1.0 — свою утилиту для подсчёта токенов. Поводом для смены версии стало изменение поведения по умолчанию: теперь ttok считает токены по правилам GPT-5/GPT-6, а не устаревшего GPT-4.

Разработчик обнаружил, что после обновления утилита всё ещё по умолчанию использовала токенизатор GPT-4, хотя давно пора было перейти на актуальные модели. Формально OpenAI пока не подтверждала, что GPT-6 использует тот же токенизатор, что и семейство GPT-5, — по этому поводу даже есть недовольный issue.

Впрочем, Уиллисон нашёл коммит Уильяма Лю, который провёл эксперимент: все семь моделей GPT (5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna) выдали одинаковые 44 794 токена на каждом из 31 тестового набора. Вывод: GPT-6 не меняет число токенов на этом корпусе, так что токенизаторы с высокой вероятностью совпадают.