Как сделать видео по референсу нейросетью
Долгие годы видеонейросети работали по одной схеме: вы даёте картинку, она становится первым кадром, и от неё идёт генерация. У этого подхода куча ограничений - вы привязаны к одному кадру и одному ракурсу. Сильные модели вроде Seedance позволяют про это забыть: видео генерируется по референсам - набору опорных фото и видео, которые задают персонажа, локацию, атмосферу и пример движения, без всякого первого кадра.
Разберу, как это работает. Я генерирую в студии mnogoGPT на Seedance - без VPN, с оплатой картой или через СБП.
Что такое генерация по референсам
Вместо одного стартового кадра вы даёте модели несколько примеров. Картинку персонажа - как он выглядит. Картинку или видео локации - где происходит действие. Видео с нужной атмосферой, освещением, примером анимации. А в промпте описываете, что именно должно произойти.
Дальше модель собирает из этого новое видео: берёт вашего персонажа с одной картинки, атмосферу и движение - с опорного видео, и генерирует сцену по описанию. Это похоже на то, как в генерации картинок вы накидываете несколько изображений и просите объединить, - только теперь с видео.
Пошагово: генерируем по референсам
- Соберите опорные материалы. Фото персонажа, картинку или видео локации, видео с нужной атмосферой и движением.
- Загрузите их в студию. В mnogoGPT добавьте референсы в опорные материалы.
- Пометьте, что есть что. Чтобы модель не путалась, в промпте референсы обозначают тегами - например, что персонаж на одной картинке, локация на другой. Это помогает, когда референсов много.
- Опишите сцену в промпте. Что происходит, как движется камера, какое действие.
- Сгенерируйте. Модель соберёт видео из ваших примеров по описанию. Не то - поправьте референсы или промпт.
Сколько референсов и какие ограничения
У генерации по референсам есть практические рамки, которые полезно знать заранее.
Опорных видео обычно можно дать немного - чаще всего пару штук, и суммарно небольшой длины. То есть либо одно видео подлиннее, либо два покороче. Картинок-референсов можно больше. Когда референсов много, важно их пометить и пронумеровать, иначе модель может запутаться, к чему какой относится. С парой референсов она справляется и так, но при большом наборе разметка обязательна.
Лайфхак: персонаж прямо из видео
Отдельный приём, который многие упускают: модель может взять персонажа не только с картинки, но и с видео. Если в опорном ролике есть нужный герой, она вытащит его, сохранит стилистику и перенесёт в новую генерацию - картинку персонажа подгружать необязательно.
Это удобно, когда у вас уже есть готовый ролик с персонажем и нужно продолжить историю или поставить того же героя в новую сцену. На этом же строится приём подстановки себя в видео - про него разбор про то, как вставить себя в видео.
Зачем это всё
Генерация по референсам особенно сильна в связке с другими приёмами. Вместе с мультишотом она даёт длинные ролики с разными сценами и одним персонажем - про мультишот есть материал про видео сразу с монтажом. А ещё на референсах строится перенос движения для длинных проектов, об этом - в статье про перенос движения с видео.
Без VPN и заграничных карт
Зарубежные сервисы с такими моделями требуют VPN и иностранной карты. В mnogoGPT этого нет: Seedance работает прямо из браузера, без VPN и зарубежных карт, оплата рублями картой или через СБП.
Часто задаваемые вопросы
Чем генерация по референсам лучше первого кадра?
Вы не привязаны к одному стартовому кадру и ракурсу. Вместо этого даёте набор примеров - персонажа, локацию, атмосферу, движение, - и модель собирает из них новое видео по описанию. Это снимает главные ограничения старого подхода.
Сколько референсов можно дать?
Опорных видео обычно немного - чаще пара штук небольшой суммарной длины, картинок можно больше. При большом наборе референсы важно пометить и пронумеровать, чтобы модель не путалась, к чему какой относится.
Можно ли взять персонажа из видео?
Да. Модель вытащит героя прямо из опорного видео, сохранит его стилистику и перенесёт в новую генерацию - отдельную картинку персонажа подгружать необязательно.
Нужен ли VPN?
Нет. В студии mnogoGPT это работает из России без VPN и зарубежных карт, оплата рублями.
Перестаньте привязываться к первому кадру. Соберите референсы персонажа, локации и атмосферы, загрузите в студию mnogoGPT - и сгенерируйте видео по примерам на Seedance, без VPN.
