Собрал ИИ-ассистента на двух 12-ГБ видеокартах: RAG, графовая память, голос и умный дом

Автор собрал персонального AI-ассистента на домашнем железе — двух видеокартах по 12 ГБ. Главные требования: все данные остаются локальными (от корпоративных документов до личной переписки) и экономия — облачные сервисы дороги и могут быть недоступны.

Система умеет работать с документами разных форматов (включая междокументный анализ и графическое представление), взаимодействовать с Google-инфраструктурой (календарь, Gmail, Drive), Telegram (как бот и от имени пользователя), внешними базами данных и умным домом. Ассистент поддерживает голосовое взаимодействие с транскрипцией и переводом, автономно работает 24/7 и сам инициирует действия по расписанию.

Ключевой вывод автора: моделей на 9–27 млрд параметров уже достаточно для таких задач. По его опыту, локальная модель становится по-настоящему полезной не когда догоняет облачные сервисы по чистому интеллекту, а когда получает долговременную память, доступ к инструментам и возможность взаимодействовать с реальным окружением пользователя.