OpenAI рассказала, как ускорила чтение данных для ChatGPT в 12 раз с помощью Azure Cosmos DB

OpenAI поделилась новыми деталями масштабирования своей распределённой системы хранения Habitat, на которой работает ChatGPT. Во второй части технического блога инженеры описали, как переход на мультитенантную архитектуру, глобальное кэширование и использование Azure Cosmos DB позволил справиться с нагрузкой, превышающей 1 миллиард активных пользователей.

Ключевые улучшения: мультитенантность позволила изолировать рабочие нагрузки разных клиентов и сервисов внутри одной инфраструктуры, а глобальное кэширование сократило задержки при обращении к часто запрашиваемым данным. Одним из главных компонентов стал Azure Cosmos DB — полностью управляемая NoSQL-база данных от Microsoft, которая обеспечила линейную масштабируемость и низкую задержку.

В результате скорость чтения данных в ChatGPT выросла в 12 раз. Это позволило поддерживать высокую производительность сервиса при росте аудитории без пропорционального увеличения затрат на инфраструктуру. Пост содержит подробные схемы архитектуры и конкретные конфигурации — полезное чтиво для инженеров, занимающихся high-load системами.