Сколько памяти на самом деле нужно AI-агенту: разбор Hugging Face

Команда Hugging Face провела серию экспериментов, чтобы ответить на практический вопрос: сколько оперативной памяти требуется AI-агенту для стабильной работы. В тестах участвовали агенты на базе моделей Llama 3, Qwen 2.5 и Mistral, оснащённые разным набором инструментов — от простого поиска до работы с файлами и выполнения кода.

Оказалось, что базовый агент с одним инструментом потребляет около 4–6 ГБ памяти, но добавление каждого нового инструмента увеличивает расход на 0,5–1,5 ГБ. Наибольший скачок дают инструменты, связанные с выполнением кода (Code Interpreter) — они добавляют до 3 ГБ к базовому потреблению. При этом агенты на Mistral показали наименьший прирост памяти при расширении инструментария, а на Llama 3 — наибольший.

Авторы также замерили влияние длины контекста: при увеличении истории диалога до 32K токенов расход памяти растёт на 20–40% в зависимости от модели. Практический вывод: для лёгких сценариев (один-два инструмента, короткий контекст) хватит 8 ГБ, для полноценного агента с код-интерпретатором и длинной историей — не менее 16 ГБ. Результаты опубликованы в открытом доступе вместе с бенчмарком для самостоятельного тестирования.