OpenAI Jalapeño побил рекорды по токенам и энергоэффективности в бенчмарке SemiAnalysis

Кастомный чип OpenAI Jalapeño, предназначенный для инференса моделей, впервые показал свои возможности на независимом бенчмарке. В тестах SemiAnalysis InferenceX чип набрал больше токенов на одного пользователя и продемонстрировал более высокую пропускную способность на каждый киловатт энергии, чем текущие state-of-the-art решения.

Пока OpenAI не раскрывает подробной архитектуры Jalapeño, но результаты бенчмарка указывают на то, что компания серьёзно продвинулась в создании специализированного железа для ИИ. Сравнение с другими чипами, в том числе от Nvidia и AMD, не проводилось — тест затронул только доступные на рынке варианты.