OpenAI Jalapeño: первые результаты — рекордная скорость и эффективность инференса

OpenAI представила первые результаты своего кастомного ASIC-чипа для инференса под кодовым именем Jalapeño. Разработка ориентирована на современные архитектуры моделей и должна стать ключевым элементом инфраструктуры компании.

По заявлению OpenAI, Jalapeño демонстрирует отраслевую скорость и энергоэффективность: выше пропускная способность, ниже латентность и меньшее энергопотребление по сравнению с существующими решениями. Пока это только предварительные данные, но они указывают на серьёзное преимущество в инференсе.