Hermes-агент на Apple Intelligence: Python-адаптер для Foundation Models SDK

Apple выпустила Foundation Models SDK for Python ещё в феврале 2026. Библиотека даёт прямой доступ к локальной модели Apple Intelligence на Apple Silicon: модель загружается в процесс, KV-кеш в памяти, инференс нативно. Сейчас у SDK 1,2 тыс. звёзд на GitHub, а версия 0.2.0, представленная на WWDC26, добавила поддержку изображений.

Хотя есть обёртки под интерфейс OpenAI, для агентов на Python вроде Hermes не было нативного провайдера — с рейтлимитером, откатом к другим моделям и аудитом. Разработчик решил это исправить, написав адаптер на Foundation Models SDK. Результат: среднее время реакции на короткие запросы — 2,8 секунды, а на бенчмарке из 50 вопросов (MMLU, BoolQ, GSM8K, BIG-Bench, HellaSwag) — 46 правильных ответов.

Под катом — архитектура, код и бенчмарки. Пока что Foundation Models активно используется в Swift-агенте iClaw, но теперь и Python-агенты могут получить доступ к локальной Apple Intelligence.