Инструменты
Нафиг NVIDIA: как я запустил Qwen на FPGA за $50
Не захотев переплачивать за GPU, автор решил собрать свой AI-процессор. Он нашёл открытый проект openTPU, купил FPGA-плату за $50 с 4 ГБ памяти и подключил её к обычному мини-ПК.
В первой части статьи он рассказывает, как выбрал железо, настроил окружение и запустил на этом бюджетном устройстве модель Qwen. Это наглядный пример того, что даже дешёвое железо способно выполнять инференс LLM.
Автор обещает продолжение с деталями производительности и дальнейшими экспериментами.
Источник: habr.com