Диффузионный трансформер на ESP32: генерация лиц за 5 секунд на чипе за 500 рублей

Обычно для генерации картинок нужна видеокарта с 4–24 ГБ памяти, но энтузиаст решил проверить, можно ли прогнать диффузию на микроконтроллере ESP32-S3. У него всего 512 КБ оперативной памяти, два ядра по 240 МГц и никаких тензорных ядер — отладочная плата стоит несколько сотен рублей.

Внутри используется латентная диффузия с трансформером (DiT), int8-квантование и ассемблерные оптимизации под векторные инструкции S3. Благодаря грязным трюкам модель уместилась в ограничения чипа и честно выполняет все вычисления локально.

Результат впечатляет: на промпт «улыбающаяся девушка со светлыми волосами» ESP32 выдаёт лицо 64×64 пикселя за 5,4 секунды. Это не отправка запроса в облако, а полноценный инференс на самом микроконтроллере — демонстрация того, как далеко зашли методы сжатия нейросетей.