Золотое сечение против bfloat16: новый формат чисел для ИИ оказался точнее

Почему bfloat16 стал стандартом для обучения нейросетей? Не из-за оптимальности, а из-за десятилетней заточки GPU и TPU под него. Авторы статьи предлагают отбросить «эффект железа» и взглянуть на числа честно — с помощью семейства форматов GoldenFloat (GF4, GF8, GF16, GF32, GF64, GF1024), основанных на золотом сечении φ = (1+√5)/2.

Ключевой результат: по метрике «бит на значение» GF16 (2.5725) обходит bfloat16 (2.6135) на одном тестовом корпусе. Кроме того, авторы обнаружили неожиданный мост к троичной машине «Сетунь» Н. П. Брусенцова — три состояния −1/0/+1 оказываются предельной точкой той же φ-лестницы.

Работа не обещает немедленного внедрения: часть результатов — измерения, часть — спекуляции. Но она ставит под вопрос устоявшееся доминирование bfloat16 и предлагает альтернативный взгляд на числовые форматы для ИИ.