GPT-6 Astra думает по кругу: OpenAI вернула рекуррентность в трансформеры

В GPT-6 Astra OpenAI изменила принцип обработки информации: слово рождается не за один проход по всей цепочке слоёв, а за несколько кругов по одному и тому же блоку. Модель словно «обдумывает» каждый токен, прежде чем его выдать.

Сам подход не нов: рекуррентные механизмы для трансформеров обсуждали ещё в 2018 году, но классическая архитектура их вытеснила. Теперь OpenAI, судя по всему, вернулась к хорошо забытой идее в своей фронтир-модели.

Пока неясно, как именно это влияет на качество и скорость, но такой дизайн потенциально позволяет углублять «размышления» над каждым токеном без увеличения числа параметров. Похоже, в OpenAI решили, что старые идеи созрели для нового витка.