habrGPT: тренируем LLM 0.5B на статьях Хабра с nanochat на домашнем ПК — fp8 против bf16

Проект nanochat, рекламируемый как «обучите свой ChatGPT за $100», изначально рассчитан на 8xH100 80Gb. Однако автор решил проверить, можно ли повторить эксперимент на более слабом домашнем оборудовании и обучить LLM размером 0.5B параметров на датасете из статей Хабра.

В процессе он сравнил два режима обучения: fp8 (8-битная точность) и стандартный bf16. Основная цель — выяснить, хватит ли объёма текстов Хабра для того, чтобы модель хотя бы научилась связно генерировать осмысленные фразы, и насколько сильно падает качество при использовании fp8.

Результаты эксперимента и код доступны в статье — это практическое руководство для тех, кто хочет попробовать обучить свою маленькую модель на ограниченных ресурсах.