OpenAI Jalapeño: новый ASIC-чип для сверхбыстрых ответов ИИ

OpenAI представила собственный ASIC-чип Jalapeño, предназначенный для инференса — этапа выполнения задач обученной моделью. Чип разработан в партнёрстве с Broadcom и впервые был анонсирован в июне.

Вице-президент OpenAI по аппаратному обеспечению Ричард Хо заявил, что Jalapeño предлагает «лучшее из двух миров»: низкую задержку (time between tokens) при высокой пропускной способности. Обычно ИИ-системам приходится выбирать между этими характеристиками, но новый чип сочетает их.

Компания опубликовала график, показывающий время между токенами (TBT) для Jalapeño в сравнении с конкурентами. Подробности о производительности и доступности пока не раскрываются.