Обучаем Gemma-3 математическому мышлению: пошаговый гайд по GRPO с Tunix и LoRA

На MarkTechPost вышло практическое руководство, в котором разбирается, как обучить Gemma-3 решать математические задачи из датасета GSM8K с использованием GRPO (Group Relative Policy Optimization). В пайплайне задействованы Tunix (библиотека для RL от Google), JAX, Flax, LoRA-адаптеры и кастомные функции награды за формат и правильность ответа. Автор обещает, что весь воркфлоу влезает в одну Colab-среду и работает на одном GPU/TPU.

Обучение идёт только на весах адаптеров, что существенно снижает требования к памяти. Параметры: 32 ранг LoRA, 100 шагов обучения, 2 генерации на промпт, температура 0.9. Код полностью открыт и включает подготовку окружения, авторизацию на Hugging Face, загрузку модели, обёртку примеров в промпты с требованием структурированного рассуждения, оценку baseline и запуск GRPO.