LiteRT.js от Google: запускаем .tflite-модели в браузере через WebGPU с приростом до 60x

Google представил LiteRT.js — JavaScript-биндинг для LiteRT, своего on-device инференс-движка (раньше TensorFlow Lite). Это не новый формат моделей: компания скомпилировала нативный рантайм в WebAssembly и сделала его доступным из JavaScript. В отличие от TensorFlow.js, который использовал менее производительные JavaScript-ядра, LiteRT.js переносит нативные оптимизации (XNNPACK для CPU, ML Drift для GPU через WebGPU, WebNN для NPU) прямо в браузер.

Производительность: против других веб-рантаймов LiteRT.js быстрее до 3x на задачах компьютерного зрения и аудио. Собственный GPU/NPU-акселератор даёт прирост 5–60x против CPU — критично для real-time трекинга объектов и транскрипции. Тесты проводились на MacBook Pro M4 2024. Важный нюанс: делегация работает по принципу «всё или ничего» — ускорение не частичное, а полное для всей модели.

Для конвертации PyTorch-модели в .tflite нужен строгий экспорт через torch.export.export без динамических размеров и условных ветвлений. Уже готовые модели можно найти на Kaggle и Hugging Face. Код инференса компактный: загрузка рантайма, компиляция модели с выбором ускорителя и запуск. Внимание: LiteRT.js требует ручного управления памятью — каждый Tensor надо удалять явно, иначе утечка device-памяти.