Как разделение задач между маленькими ИИ-моделями дало прирост в 4 раза: опыт проектировщика

Автор — начальник отдела проектной организации, не программист, с нейросетями работает меньше года. Он решил проверить, можно ли из нескольких маленьких локальных моделей собрать «рой», который будет умнее самой мощной одиночной модели. Эксперимент не удался: рой не показал превосходства.

Тогда он применил к шести моделям схему, по которой работает любой проектный институт: разбил задачу на разделы и распределил между моделями. Замеры показали, что из всей схемы реально держит нагрузку только одно деление на разделы. При этом слабая модель (с меньшим объёмом параметров) получила от такого подхода прирост в 4 раза, а сильная — почти нулевой.

Вывод автора: разделение на разделы эффективно именно для маленьких моделей, которые в одиночку не справляются со сложной задачей. Для сильных моделей выгода минимальна. Статья содержит практические замеры и может быть полезна тем, кто хочет выжать максимум из локальных LLM без покупки дорогих решений.