Собрал свою GPT на 112 млн параметров с нуля на PyTorch: претрейн, SFT и Telegram-бот

Разработчик под ником jarvis создал с нуля русскоязычную LLM на 112 млн параметров на PyTorch. В проекте нет готовых AutoModelForCausalLM — архитектура, токенизатор, пайплайн претрейна и SFT, KV-cache, консольный чат и Telegram-бот реализованы самостоятельно. Готовый SFT-чекпоинт и токенизатор опубликованы на Hugging Face.

Цель проекта — не конкурировать с большими моделями, а дать разработчикам возможность разобраться в устройстве LLM на практике. Это компактный decoder-only transformer, заточенный под русский язык и диалоги. Включает простой бенчмарк для оценки качества генерации.

Проект подходит для тех, кто хочет понять внутреннюю кухню больших языковых моделей: от претрейна до развертывания в мессенджере. Весь код открыт, так что можно форкнуть и дообучить под свои задачи.