AMD купила Taalas — стартап, который вшивает веса моделей прямо в кремний

AMD объявила о покупке канадского стартапа Taalas, который разрабатывает чипы для инференса с жёстко зашитыми весами моделей. Вместо того чтобы загружать веса в память, Taalas встраивает их прямо в кремний на этапе производства — это радикально ускоряет вычисления, но лишает гибкости: каждый чип работает только с одной конкретной моделью.

На демонстрационном образце чип обрабатывал Llama 3.1-8B со скоростью свыше 16 000 токенов в секунду на пользователя — это на порядок быстрее традиционных решений. Однако плата за производительность — невозможность обновить модель без замены физического чипа.

По слухам, Google тоже экспериментирует с похожим подходом для своей модели Gemini. Сделка AMD с Taalas может ускорить появление специализированных инференс-чипов для самых популярных открытых моделей, где скорость критичнее универсальности.