Фичи и апдейты
Контекстная инженерия для слабой локальной модели: как выжать максимум из среднего ИИ
Принято думать, что качество ИИ-агента упирается в размер модели. Но когда модель работает локально, на ограниченном железе, брать «побольше» некуда. Главный рычаг — контекст: что вы показываете модели, в каком порядке и как фильтруете.
Под «контекстом» здесь понимается сборка под то, кто спрашивает, откуда и о чём, плюс честный порог релевантности и продуманный порядок секций. На сильной облачной модели небрежный контекст прощается запасом по reasoning; на средней локальной — нет.
Источник: habr.com