Нейровеса по рецепту: почему матрицы можно не хранить, а вычислять

Обычная нейросеть — это миллионы и миллиарды чисел в матрицах. Но существует и другой путь: не хранить веса, а вычислять их по компактному правилу. Такие идеи развиваются уже давно — от гиперсетей, где одна маленькая модель генерирует веса для другой, до математических формул и настоящих фракталов, которые задают структуру параметров.

Главная ставка — радикально сжать модель, чтобы она занимала не гигабайты, а килобайты. Но за компактность приходится платить: вычисление весов на лету требует дополнительных операций, а качество сгенерированных параметров часто хуже, чем у «честно» обученных. Пока это скорее поле экспериментов, чем замена обычному обучению.

Автор статьи задаётся вопросом, насколько LLM далека от судьбы первой Doom, которую запускали где угодно — от холодильников до калькуляторов. До «нейросети в каждом чайнике» пока далеко, но направление показывает, что вес модели — это не всегда единственный способ её представить.