Маленькая LLM учится без роста весов: честный эксперимент на GPU 12 ГБ

Мейнстрим продолжает наращивать масштаб моделей, но остаётся вопрос: реально ли прокачать маленькую LLM без добавления весов? Автор эксперимента проверил ортогональный подход — верифицированную память и локальное обучение при жёстком потолке ресурсов: бытовая GPU на 12 ГБ.

Суть в том, чтобы модель не просто запоминала факты, а умела проверять и использовать внешние хранилища знаний, обучаясь локально. В статье — честные замеры, описание багов и статистика, которая показывает, где такой подход даёт прирост, а где упирается в потолок.

Эксперимент интересен всем, кто работает с ограниченным железом или ищет альтернативы масштабированию. Это не прорыв, но ценный практический опыт с цифрами и разбором ошибок.