ruGPT-3 XL 2020 года: дообучили до современной LLM и сравнили с Gemma3 2025

Статья посвящена эксперименту: можно ли из старой pretrain-модели ruGPT-3 XL 1.3B (выпущена в конце 2020 — начале 2021) с помощью современных методов дообучения сделать полноценную LLM, способную понимать инструкции и вести диалог. Исходная модель умела только продолжать текст, без чата и выполнения команд.

Применяются SFT и DPO. Полученную модель сравнивают с Gemma3 1B от Google, выпущенной в 2025 году. Также упоминается дообучение HabrGPT 0.5B на большом датасете. Результаты показывают, что старые модели не безнадёжны и могут быть адаптированы под современные задачи.