Собрал VLM за $200: как обучить визуально-языковую модель на одной GPU

Автор эксперимента взял небольшую языковую модель, подключил к ней визуальный энкодер и прошёл полный цикл обучения VLM: от настройки архитектуры до оценки качества. Всё это на ограниченном бюджете и одной арендованной GPU.

Модель на 628 млн параметров научилась описывать изображения. Общая стоимость обучения составила примерно $200. В статье подробно описаны решения, ошибки первых запусков и итоговые метрики.