Как думает LLM: строим ChatGPT с нуля за десять шагов — без магии и терминологического шума

Большинство объяснений LLM начинают сразу с архитектуры Transformer с десятками миллиардов параметров, что похоже на попытку объяснить автомобиль через коробку передач и систему впрыска топлива, минуя основы. Статья на Habr предлагает альтернативный подход — пройти путь от нуля за десять шагов.

Вместо заучивания терминов вроде Embeddings, Attention, KV Cache и Multi-Head Attention, автор последовательно показывает, какие проблемы решала каждая новая архитектура. Читатель сможет увидеть, как из простых идей рождаются современные ChatGPT и Llama, без магии и перегруза терминологией.