22-миллиардная видеомодель на RTX 3080 с 10 ГБ: практический рецепт запуска LTX-2.5

Казалось бы, задача невыполнимая: у видеокарты 10 ГБ памяти, а у видеомодели LTX-2.5 — 22 млрда параметров, при этом веса трансформера занимают 39 ГБ, а текстовый энкодер ещё 24,5 ГБ. Суммарно это в шесть раз больше, чем есть в распоряжении, — автора такой расклад сначала почти заставил отказаться от затеи.

Однако он не сдался и нашёл способ запустить модель локально под Windows. В статье подробно разобрано, какие ухищрения потребовались: как ужать модель до 10 ГБ, что пожертвовать в качестве и какие настройки использовать, чтобы получить работающий результат.

Итог — LTX-2.5 успешно генерирует видео прямо на домашней видеокарте и встроена в конвейер коротких роликов. Материал будет полезен всем, кто хочет заниматься видеогенерацией без покупки дорогих серверных GPU.