Как сделать видео по референсу нейросетью: без привязки к первому кадру
Если коротко — вместо одного стартового кадра вы даёте модели набор примеров: фото персонажа, картинку или видео локации, видео с нужной атмосферой и движением, — а в описании говорите, что должно произойти. Долгие годы видеонейросети работали иначе: вы давали картинку, она становилась первым кадром, и вы были привязаны к одному ракурсу. Сильные модели позволяют про это забыть. Ниже разберу, как собрать видео по референсам, сколько их давать и один недооценённый приём.
Генерирую в студии mnogoGPT — прямо из браузера, на русском, без VPN, оплата картой или через СБП.
Что такое генерация по референсам
Вместо одного кадра вы даёте несколько примеров:
- Картинку персонажа — как он выглядит.
- Картинку или видео локации — где происходит действие.
- Видео с нужной атмосферой — освещение, пример анимации.
- Описание в промпте — что именно должно произойти.
Дальше модель собирает из этого новое видео: берёт вашего персонажа с одной картинки, атмосферу и движение с опорного видео и генерирует сцену по описанию. Похоже на то, как в генерации картинок вы накидываете несколько изображений и просите объединить, — только теперь с видео.
Пошагово: генерируем по референсам
- Соберите опорные материалы — фото персонажа, картинку или видео локации, видео с нужной атмосферой и движением.
- Загрузите их в студию — добавьте референсы в опорные материалы.
- Пометьте, что есть что — в промпте референсы обозначают тегами, чтобы модель не путалась, когда их много.
- Опишите сцену — что происходит, как движется камера, какое действие.
- Сгенерируйте. Модель соберёт видео из ваших примеров. Не то — поправьте референсы или описание.
Сколько референсов и какие ограничения
- Опорных видео обычно немного — чаще пара штук небольшой суммарной длины: либо одно подлиннее, либо два покороче.
- Картинок-референсов можно больше.
- При большом наборе размечайте — пометьте и пронумеруйте, иначе модель путается, к чему какой относится. С парой референсов она справляется и так.
Лайфхак: персонаж прямо из видео
Отдельный приём, который многие упускают: модель может взять персонажа и с картинки, и прямо с видео. Если в опорном ролике есть нужный герой, она вытащит его, сохранит стилистику и перенесёт в новую генерацию — картинку персонажа подгружать необязательно.
Это удобно, когда у вас уже есть готовый ролик с персонажем и нужно продолжить историю или поставить того же героя в новую сцену. На этом же строится приём подстановки себя в видео — в материале про то, как вставить себя в видео.
Зачем это всё
Генерация по референсам особенно сильна в связке с другими приёмами:
- С мультишотом — длинные ролики с разными сценами и одним персонажем. В материале про видео сразу с монтажом.
- С переносом движения — для длинных проектов. В материале про перенос движения с видео.
Без VPN и заграничных карт
Зарубежные сервисы с такими моделями требуют VPN и иностранной карты. В mnogoGPT этого нет: студия работает прямо из браузера, без VPN и зарубежных карт, оплата рублями картой или через СБП.
Часто задаваемые вопросы
Чем генерация по референсам лучше первого кадра?
Вы не привязаны к одному стартовому кадру и ракурсу. Вместо этого даёте набор примеров — персонажа, локацию, атмосферу, движение — и модель собирает из них новое видео по описанию. Это снимает главные ограничения старого подхода.
Сколько референсов можно дать?
Опорных видео обычно немного — чаще пара штук небольшой суммарной длины, картинок можно больше. При большом наборе референсы важно пометить и пронумеровать, чтобы модель не путалась.
Можно ли взять персонажа из видео?
Да. Модель вытащит героя прямо из опорного видео, сохранит его стилистику и перенесёт в новую генерацию — отдельную картинку персонажа подгружать необязательно.
Нужен ли VPN?
Нет. В студии mnogoGPT это работает из России без VPN и зарубежных карт, оплата рублями.
Коротко: как сделать видео по референсу
Соберите примеры — персонажа, локацию, атмосферу и движение, — загрузите как референсы и опишите сцену. Модель соберёт новое видео, не привязываясь к первому кадру. Опорных видео давайте немного, картинок можно больше, при большом наборе размечайте. Всё это в студии mnogoGPT: без VPN, оплата картой или через СБП.
