Master SCAIL-2: Best Open-Source Motion Transfer & Character Replacement Tutorial (ComfyUI)
0:02
Это лучшая модель передачи движения персонажа с открытым исходным кодом.
This is the best open source character motion transfer model.
0:09
Полный учебник. Модели, рабочие процессы, учебные материалы и т. д. Используется в курсе.
A comprehensive tutorial. To models, workflows, teaching assets, etc. Used in the course.
0:15
Точку можно получить прямо в описании. Если этот курс вам помог, пожалуйста, поставьте лайк и оставьте комментарий.
Dot can be obtained directly in the description. If this course helps you, please give a like and comment.
0:23
Перед обучением убедитесь, что ваша версия Python находится между 3.10 и 3.12.
Before learning, please make sure your Python version is between 3.10 and 3.12.
0:28
В то же время рекомендуется обновить ваш интерфейс до последней версии.
At the same time, it is recommended to update your UI to the latest version.
0:31
Все рабочие процессы, используемые в этом курсе, глубоко оптимизированы на основе официальных рабочих процессов и используют модели серии GGUF, что обеспечит вам лучший пользовательский опыт.
All workflows used in this course are deeply optimized based on the official workflows and use the GGUF series models which will bring you a better user experience.
0:40
Слева находится область ввода пользователя. В верхней части загружаются видео, изображения, настройки подсказок и мест, а также переключатели функций.
On the left is the user input area. The upper part is video loading, image loading, prompts and seat settings, and feature toggles.
0:50
Средняя область — это пути моделей. Верхняя часть отвечает за загрузку с оптимизацией VRAM, а нижняя секция — это SAM 3.1.
The middle area is the model paths. The top part is lower loading in VRAM optimization, and the bottom section is SAM 3.1.
1:00
Справа находится результат генерации видео. Если вы хотите выводить длинные видео, вы можете включить модуль расширения с этой стороны.
On the right is the video generation result. If you want to output long videos, you can enable the extension module on this side.
1:07
После того как вы ознакомитесь с рабочим процессом, давайте начнем фактический практический учебник.
After getting familiar with the workflow, let's start the actual hands-on tutorial.
1:14
Сначала загрузите танцевальное видео. Это видео по умолчанию содержит 400 кадров. Мы можем установить общее количество кадров для использования.
First, load a dancing video. This video defaults to 400 frames. We can set the frame count to use in total frames.
1:21
81 кадр — это рекомендованное значение, так как оно обеспечивает лучшую производительность.
81 frames is a recommended value. as it delivers better performance.
1:25
На этот раз мы пропускаем первые 80 кадров и обрезаем этот средний сегмент. Далее идет разрешение.
This time we skip the first 80 frames and clip this middle segment. Next is resolution.
1:30
SEAL рекомендует использовать разрешения 512p и 704p. Оно работает лучше всего при разрешении 704p.
SEAL recommends using 512p and 704p resolutions. It performs best at 704p resolution.
1:36
Если вам нужно пользовательское разрешение, убедитесь, что ширина и высота делятся на 32.
If you need a custom resolution, make sure both width and height are divisible by 32.
1:40
Поэтому мы используем этот специальный узел разрешения SEAL. Здесь установлены эти два разрешения.
So we use this dedicated SEAL resolution node. It has these two resolutions preset here.
1:46
Мы также можем настроить его. Разрешение от этого узла автоматически будет делиться на 32.
We can also customize it. The resolution from this node will automatically be divisible by 32.
1:51
Здесь я выбираю оптимальное разрешение 704p, которое масштабирует короткую сторону до разрешения 704.
Here I choose the optimal 704p, which scales the shortest side to a resolution of 704.
1:57
Следующий раздел — это раздел с эталонным изображением ниже. С помощью этого узла мы можем сопоставить разрешение эталонного изображения с эталонным видео.
Next is the reference image section below. Through this node, we can match the resolution of the reference image to the reference video.
2:04
Затем мы загружаем изображение, которое будем использовать на этот раз. Вы можете щелкнуть правой кнопкой мыши, чтобы предварительно просмотреть его.
Then we upload the image to be used this time. You can right-click to preview it.
2:10
Это окончательное разрешение выходного изображения. Теперь, чтобы достичь этого анимационного эффекта, у нас есть два варианта.
This is the final output image resolution. Now to achieve this animation effect, we have two options.
2:16
В варианте 1 мы хотим, чтобы персонаж на нашем изображении для справки выполнял действия, полностью идентичные нашему видео для справки.
In option 1, we want the character in our reference image to perform actions completely identical to our reference video.
2:23
Первый вариант называется передачей движения. Во втором варианте мы заменяем персонажа в видео для справки на девушку ниже, используя ее фон и движения.
The first option is called motion transfer. In option 2, we replace the character in the reference video with the girl below, using her background and movements.
2:34
Второй вариант называется заменой персонажа. Переключатель для этих двух режимов находится здесь. По умолчанию он выключен, что использует передачу движения.
The second option is called character replacement. The toggle for these two modes is here. It is off by default, which uses motion transfer.
2:42
Поэтому давайте сначала изучим более простую передачу движения. Далее идут подсказки.
So let's first learn the simpler motion transfer. Next are the prompts.
2:45
Поскольку передача движения использует информацию из этого эталонного изображения, и эта информация довольно полная, нам нужно только ввести действия.
Because motion transfer uses information from this reference image, and that information is fairly complete, we only need to input the actions.
2:53
Введите подсказку здесь. Девушка танцует. Случайное значение. Я установлю его на 1 для более легкого сравнения позже.
Enter prompt here. Girl is dancing. Random seed. I'll fix it to 1 for now for easier comparison later.
3:00
Переключатель ниже отвечает за включение дистиллированного LoRa. При включении нагрузка на VRAM будет ниже, а скорость генерации выше.
The switch below is weather to enable distilled LoRa. When enabled, VRAM load will be lower and generation speed will be faster.
3:07
Этот LoRa в значительной степени необходим для работы. Не трогайте его.
This LoRa is pretty much essential to keep on. Don't touch it.
3:10
Затем, под LoRa и оптимизацией выше, мы отключаем все LoRa на данный момент.
Then under LoRa and optimization above, we turn off all LoRa's for now.
3:15
Этот узел резервирует кэш, что помогает предотвратить ошибки из-за нехватки памяти в определенной степени. Эти два являются патчами ускорения оптимизации Sage.
This node reserves cache, which helps prevent out-of-memory errors to an extent. These two are Sage Optimization Acceleration Patches.
3:22
Затем ниже находится модуль сегментации, используемый для извлечения персонажей отдельно из эталонного видео и эталонного изображения.
Then below is a segmentation module used to extract characters separately from the reference video and reference image.
3:29
Этот узел загружает модель SAM 3.1. Верхний — это видео подсказка, а нижний — это изображение подсказка.
This node loads the SAM 3.1 model. The top one is the video prompt, and the bottom one is the image prompt.
3:36
Наш материал на этот раз довольно прост, поэтому нам нужно только ввести 'человек' здесь. Это управляет настройками параметров.
Our material this time is quite simple, so we only need to input person here. This controls parameter settings.
3:42
Первый — это порог, который контролирует строгость извлечения подсказок. Обычно оставляйте его по умолчанию. Второй — максимальное количество символов.
The first is Threshold which controls the strictness of prompt retrieval. Usually leave it at default. The second is Max Character Count.
3:50
Под этим находится интервал обнаружения в кадрах. Давайте оставим по умолчанию на данный момент. Затем щелкните правой кнопкой мыши и выберите 'Выполнить'.
Below that is Detection Interval in Frames. Let's keep default for now. Then right click and click Execute.
3:57
Этот персонаж был успешно извлечен. То же самое и для эталонного изображения ниже. Щелкните правой кнопкой мыши и выполните.
This character has been successfully extracted. Same for the reference image below. Right click and Execute.
4:04
Эталонный персонаж также был успешно извлечен. Обратите внимание на некоторые цветовые различия здесь.
The reference character is also successfully extracted. Notice some color differences here.
4:09
Черные части означают полностью отброшенные, в то время как белые части означают полностью сохраненные.
black parts mean completely discarded, while white parts mean completely kept.
4:15
А цветовая информация здесь представляет наш идентификатор персонажа. Мы применим эту синюю позу движения к нашему синему персонажу.
And the color information here represents our character ID. We will apply this blue motion pose to our blue character person.
4:24
После завершения этого шага мы можем нажать Q Подсказка / Запуск.
Once this step is completed, we can click Q Prompt slash Run.
4:29
Это поколение заняло 234 секунды в общей сложности, используя видеокарту RTX 4090.
This generation took 234 seconds in total, using an RTX 4090 graphics card.
4:35
Позы движения здесь, включая жесты и выражения, были воспроизведены чрезвычайно хорошо.
The motion poses here, including gestures and expressions, were reproduced extremely well.
4:41
Даже изменения в движении камеры здесь были успешно захвачены.
Even camera movement changes here were successfully captured.
4:47
Теперь давайте усложним задачу. На этот раз я буду использовать этот актив и отключу узел настройки размера.
Next, let's step up the difficulty. This time I'll use this asset, and turn off the size adjustment node.
4:54
Таким образом, вывод будет выполнен в оригинальном разрешении. У нашего эталонного изображения и эталонного видео есть большая разница в разрешении.
This way, output will be made at original resolution. Our reference image and reference video have a big difference in resolution.
처음 5분까지만 무료로 볼 수 있어요. 이어서 보려면 앱이나 확장 프로그램을 설치하세요.
다운로드
다른 언어로 요청하기