DiffusionGemma: Google дообучил Gemma 4 в диффузионную модель, сэкономив 90% ресурсов

Google DeepMind показала, что для создания текстовой диффузионной модели не обязательно обучать её с нуля. Исследователи взяли готовую Gemma 4 и дообучили её до DiffusionGemma, потратив менее 10% вычислительных ресурсов, которые ушли на оригинальную модель. Такой подход радикально снижает затраты и время на разработку.

Вместо последовательной генерации токенов DiffusionGemma выдаёт сразу 256 токенов за шаг, достигая пропускной способности около 1500 токенов в секунду. Однако по качеству она пока уступает авторегрессионному оригиналу, особенно в задачах, требующих логических рассуждений. Тем не менее, результат показывает, что диффузионные архитектуры для текста можно получать путём дообучения существующих моделей, а не с нуля.