Ollivo: запускай нейросети локально без Python, CUDA и терминала — одна программа для всех

Энтузиаст написал Ollivo — утилиту для запуска локальных нейросетей без Python, CUDA и командной строки. Программа сама подтягивает зависимости, поддерживает Vulkan и CUDA, и работает на старых видеокартах вроде GTX 1080. По словам автора, Vulkan на этой карте выдаёт в 1,5 раза больше токенов в секунду, чем CUDA.

В процессе тестирования автор наткнулся на забавные артефакты: модель Qwen при температуре 0 всё равно вставляет китайские символы в русский текст, а маленькая модель однажды «отчиталась» об удалении файла, хотя на самом деле ничего не удалила. Ollivo призван решить проблему совместимости и сделать запуск моделей доступным для всех.

Программа распространяется бесплатно, исходный код открыт. Поддерживаются модели разных архитектур, включая Qwen, Llama и другие. Это хороший вариант для тех, кто хочет попробовать локальный ИИ без танцев с бубном.