Тед Сандерс из OpenAI объяснил, как нумеруются модели: размер решает, но не всё

Тед Сандерс из OpenAI объяснил, как устроена производительность LLM и что на самом деле означают номера версий моделей. По его словам, производительность моделей чрезвычайно многомерна: нет гарантии, что модель, лучшая в математике, будет лучшей и в шутках. Однако, несмотря на всю сложность, большая часть вариаций объясняется единственным параметром — размером модели. Чем больше модель, тем выше производительность и надёжность, выше стоимость за токен и лучше запоминание эзотерических фактов.

Что касается нумерации, Сандерс уточнил: номер версии одновременно обозначает порядок выхода (6.1 вышла после 5.6), родство с другими релизами этой же «шестой» серии по данным обучения и «характеру» (поэтому она не 5.7), и величину улучшения. Если бы модель совершала гигантский скачок, который заслуживает ажиотажа и заголовков, она получила бы номер 7.