Kyutai открыла CADRE: видео-автоэнкодеры с задержкой менее 230 мс для интерактивных миров

Большинство мировых моделей использует автоэнкодеры от генераторов текста-в-видео, которые упаковывают несколько кадров в один латентный вектор — из-за этого каждое действие пользователя вызывает задержку. Kyutai предложила CADRE (Causal Diffusion Representation Autoencoders): семь открытых автоэнкодеров, спроектированных специально для интерактивных миров. Размер каждого — около 476 млн обученных параметров плюс замороженный DINOv3 ViT-B/16 на 86 млн. Мировая модель на их основе имеет 1,2 млрд параметров, выдаёт видео 288×512 при 20 FPS на одном H100 в bf16.

Задержка складывается из размера латентного чанка (τ кадров), времени генерации и декодирования. При τ=8 и 20 FPS один чанк даёт 400 мс задержки — человек замечает запаздывание уже после ~230 мс. CADRE решает это за счёт каузального диффузионного трансформера-декодера с progressive self-distillation: он учится декодировать в 1–2 шага без adversarial loss. Энкодер использует 3D свёртку и выдаёт 64-канальный латент, а разные версии автоэнкодера отличаются только этим узким местом.

На бенчмарках CADRE формирует фронтьер качества и скорости: побеждает в 42 из 48 сравнений с MIRA, Wan 2.2, Cosmos и LTX-2. Лучший Driving FVD — 162,6 (CADRE-2×16×16, 1 шаг) против 599,7 у Wan 2.2. Худший результат — следование действиям при манипуляции роботом (ARR 0,45 у CADRE-2×32×32 против 0,85 у Wan 2.2). Обучение велось на 23 открытых видеоисточниках (около 76 тыс. часов), охватывающих веб, роботов, вождение и игры.