Как превратить сториборд в видео: пошаговый метод с двумя нейросетями

Если попросить нейросеть «сгенерируй видео» одной фразой, результат почти всегда получается случайным. Автор предлагает связку из двух моделей: сначала генерируется один статичный лист с раскадровкой (несколько пронумерованных кадров-панелей), а затем этот лист превращается в видео покадровым промтом с таймкодами, планами и звуком.

Метод демонстрируется на примере кроссовка, который оживает по ночам, а также есть более продвинутая версия приёма с черновым сториборд-скетчем. Все промты внутри — рабочие, автор гонял их сам.