Собираем и предобучаем свою GPT-like LLM по Warhammer 40K — часть 3

Автор цикла Владимир делится опытом написания небольшой decoder-only LLM с нуля. В первой части он обучил токенизатор и собрал pretrain-датасет, во второй — реализовал класс Transformer-блока.

Теперь, в третьей части, он переходит к сборке и предобучению самой модели. Статья содержит практические детали реализации и будет полезна тем, кто хочет разобраться в процессе создания языковых моделей.

Материал ориентирован на энтузиастов и разработчиков, интересующихся внутренним устройством LLM. Полный текст доступен на Хабре.