Полгода обучения LLM с нуля на RTX 4060: что вышло у крошечной модели на 260 млн параметров

Энтузиаст решил выяснить, можно ли обучить микроскопическую нейросеть с нуля на домашнем железе хоть какой-то логике. За полгода экспериментов, перебора данных и множества итераций он довёл модель до версии 2.1 — это LLM всего на 260 млн параметров, обученная на единственной RTX 4060.

Проект не ставил коммерческих или научных целей — чистый интерес: способна ли такая крошечная модель на осмысленные рассуждения. Автор делится результатами и рассказывает, чему в итоге научилась нейросеть.

Хотя масштаб несопоставим с фронтирными моделями, сам факт, что за полгода на обычной видеокарте можно получить работающую LLM с нуля, — показательный пример доступности технологий ИИ для энтузиастов.