OpenAI сократила расходы на инференс для гостевых пользователей ChatGPT более чем вдвое

OpenAI значительно оптимизировала инференс своих ИИ-моделей. Как сообщает The Information со ссылкой на источники, компания сократила расходы на вычисления «более чем вдвое», а количество используемых GPU Nvidia в определённые моменты снизилось до нескольких сотен.

Оптимизации уже применяются в ChatGPT. Снижение затрат затронуло гостевых пользователей — тех, кто не оплачивает подписку, — что может свидетельствовать о серьёзном повышении эффективности моделей без потери качества.