Почему маленькая LLM не умнеет от повторного обучения: эксперимент и потолок

Автор работает над архитектурой LANN-4 — нейросетью с небольшим неизменным «мозгом» и вынесенной наружу памятью, которая учится всю «жизнь». В рамках исследования он провёл серию опытов с маленькой моделью, чтобы понять, можно ли накапливать знания через повторное дообучение без роста числа весов.

Результат оказался отрицательным: первый раунд дообучения даёт заметный прирост качества, но все последующие — нет. Модель упирается в потолок, и накопления не происходит. Автор признаёт, что готовой архитектуры LANN-4 пока нет, а текущие опыты — лишь подопытные инструменты на пути к ней.

Перед решающей проверкой, которая займёт примерно сутки работы видеокарты, автор просит сообщество найти возможные ошибки в устройстве эксперимента. Он открыт к обсуждению и ждёт идей, почему повторное обучение не даёт кумулятивного эффекта.