OpenAI и Broadcom представили чип Jalapeño для инференса LLM

OpenAI и Broadcom официально представили Jalapeño — первый собственный чип OpenAI для инференса больших языковых моделей. Разработка нацелена на ускорение вывода при высоких нагрузках, что критически важно для продакшн-систем, работающих с LLM на масштабе.

Создание собственного чипа означает стратегический сдвиг: теперь OpenAI не полностью зависит от сторонних GPU (вроде NVIDIA) и может оптимизировать аппаратную часть под свои архитектуры. Jalapeño рассчитан на снижение задержек и стоимости инференса, сохраняя совместимость с существующими AI-пайплайнами.