Французский стартап ZML выпустил бесплатное ПО для ускорения инференса на множестве чипов

Французский стартап ZML, получивший поддержку лауреата премии Тьюринга Янна Лекуна, выпустил ZML/LLMD — бесплатное программное обеспечение, предназначенное для ускорения инференса ИИ-моделей на множестве чипов. Инструмент позволяет более эффективно распределять вычислительную нагрузку, что в перспективе может снизить стоимость запуска больших языковых моделей.

ZML/LLMD решает проблему масштабирования инференса на гетерогенных кластерах, оптимизируя использование ресурсов и уменьшая задержки. Продукт доступен бесплатно, что делает его привлекательным для исследователей и компаний, стремящихся сократить расходы на ИИ-инфраструктуру.