Исследования
Мало активировать — мало: почему AI-роутеру нужна стратегия для всей системы
Идея выглядит элегантно: у системы большая ёмкость, но на каждом шаге используется лишь часть нейронов. Однако «активируется мало» не значит «вся модель помещается в скромную видеокарту». Веса нужно где-то хранить и вовремя подвозить, а память и скорость зависят ещё от контекста, кешей и обмена данными — так что реальную экономию надо мерить для всей системы целиком.
Автор проводит аналогию с крупной инженерной компанией: чтобы обсудить качество видеопотока, не нужно собирать всех — хватает специалистов по нужной теме. Так и роутеру стоит вызывать только релевантные экспертные модули, но при этом не забывать про накладные расходы на их доставку и синхронизацию. Это скорее приглашение к системному мышлению, чем готовое решение.
Источник: habr.com