Тернарная нейронка на C#: аналог Microsoft Bitnet 1.58 умещается в 29 КБ

Автор статьи на Хабре предлагает взглянуть на тернарные (троичные) нейросети как на следующий шаг после квантизации. В качестве основы взят формат Microsoft Bitnet 1.58, где веса принимают значения -1, 0 и 1 — это позволяет резко сократить память при сохранении качества.

Реализация выполнена на C#. Базовая версия модели занимает 29 КБ, а при экстремальном сжатии — всего 17,1 КБ. Для сравнения: обычные FP32-модели весят в десятки раз больше. Статья также содержит обзор форматов от FP32 до FP4 и объяснение, почему тернарный подход может быть эффективнее бинарного.

Хотя это демонстрация, а не готовая production-модель, она наглядно показывает, насколько компактными могут быть нейросети при использовании троичной логики. Это может быть полезно для встраиваемых систем, браузерных приложений и edge-устройств.