Пишем свою LLM по WH40K: собираем трансформер с нуля

Владимир публикует вторую часть цикла статей о создании decoder-only LLM, вдохновлённой вселенной Warhammer 40,000. После подготовки текста, обучения Byte-level BPE токенизатора и сборки pretrain-датасета (первая часть), автор берётся за ключевой компонент — сам трансформер.

Речь идёт о написании архитектуры с нуля, без использования готовых библиотек для высокоуровневого конструирования моделей. Это сугубо учебный и инженерный материал для тех, кто хочет разобраться, как устроены современные языковые модели изнутри, на примере относительно небольшой кастомной LLM.