Упаковать 1568 токенов в один вектор — магия или иллюзия? Исследователи AIRI нашли подвох

Исследователи из лаборатории FusionBrain AIRI представили на ICML 2026 работу «Progressive Cramming: Reliable Token Compression and What It Reveals». Она стала ответом на предыдущий результат коллег: в 2025 году команда Юры Куратова показала, что в один вектор замороженной LLM можно упаковать до 1568 токенов текста и восстановить их дословно. Плотность хранения впечатляла — несколько абзацев в одном эмбеддинге.

Авторы новой статьи усомнились, что такая реконструкция действительно сохраняет смысл. Они выяснили: стандартный протокол token cramming скрывает катастрофические провалы — после распаковки модель не способна рассуждать о содержимом, хотя формально повторяет текст. Причина кроется в первых слоях трансформера, где теряется семантическое представление.

В ответ команда предложила progressive cramming — более надёжную процедуру сжатия, которая не жертвует пониманием. Также исследователи проанализировали траектории оптимизации сжатых последовательностей. Работа поднимает важный вопрос: гнаться ли за рекордной плотностью упаковки или за сохранением смысла — и как это проверить.