Локальный агент Pi и Счёты 4.0: 100+ токенов в секунду на домашнем железе

Год назад на докладе в Фонде развития Интернет-инициатив автор рассказывал о рисках использования облачных ИИ-моделей. Тогда полноценной локальной альтернативы не было.

За год ситуация изменилась: появился локальный агент Pi и платформа «Счёты 4.0», которые выдают более 100 «не тупых» токенов в секунду на обычном железе. В статье объясняется, что это за инструменты, как их получить бесплатно и начать работать.