Волна ИИПодписаться
← Назад
Инструменты

11 open-source харнессов для локальных LLM: рейтинг 2026 года и три железных правила

18.09.2026 · marktechpost.com ↗

Агент — это не только модель, но и харнесс: обвязка, которая запускает инструменты, хранит состояние, управляет правами и подсовывает модели контекст. С локальной LLM харнесс становится критичен — маленькое окно контекста и слабый вызов инструментов сразу выявляют все огрехи архитектуры. Авторы собрали 11 open-source решений и оценили их по четырём критериям: OSI-лицензия, документированные локальные рантаймы, актуальность поддержки и механизмы безопасности.

Три правила, которые применимы к любому харнессу. Первое: сразу поднимите контекстное окно. По умолчанию Ollama ставит 4K токенов при VRAM до 24 ГБ, 32K до 48 ГБ и 256K от 48 ГБ. Для агентов и кодинга нужно минимум 64 000 — исправляется одной строкой OLLAMA_CONTEXT_LENGTH=64000 ollama serve. Второе: выбирайте модель, которая умеет вызывать инструменты. Без этого харнесс сможет только болтать. Для llama.cpp флаг --jinja включает совместимые шаблоны и tool calling. Третье: честно оценивайте память. Cline рекомендует 16–32 ГБ RAM для маленьких квантизованных моделей, 32–64 ГБ для средних кодовых и от 64 ГБ для больших. Ollama указывает gemma4 на ~16 ГБ VRAM, qwen3.6 — на ~24 ГБ.

Рейтинг построен на данных из GitHub по состоянию на 18 сентября 2026 года. В подборку вошли такие проекты, как Ollama, Goose, Cline, llama.cpp, Pi и другие. Каждый харнесс проверен на совместимость с локальным инференсом — это ключевое отличие от облачных решений. Если вы собираете агента на своей машине, этот список сэкономит часы экспериментов.

Источник: marktechpost.com
← Все новости AI Wave