当前位置：首页 > article >正文

【ComfyUI】轻松一键视频转动漫！太棒了！超强稳定视频转绘工作流，如此丝滑~!

article 2024/10/24 6:32:33

前言

昨天有老铁在群里交流有没有视频转动漫方面的工作流。月月也是抽时间简单了解了下，从效果来看，觉得基于DiffSynth-Studio的这款工作流转绘效果目前来看是很不错的。今天月月就给大家带来了这一款超稳定视频转动漫风格工作流。

视频转绘这么火的赛道下，老铁们怎么能不会呢。下面我们一起来看一看。

先看下月月简单转绘的6秒视频，整体耗时大概在10分钟左右，视频的转绘效果及流畅度月月个人还是比较满意的。

DiffSynth-Studio介绍

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

**项目地址：
**

DiffSynth Studio 是一款 Diffusion 引擎。它重构了包括 Text Encoder、UNet、VAE 等在内的架构，在增强计算性能的同时保持了与开源社区模型的兼容性。并且提供了许多有趣的功能。

到目前为止，DiffSynth Studio 支持以下模型：

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

是的你没看错，连目前很火的Flux以及CogVideoX-5b也都是支持的。

视频合成：

长视频合成：

卡通着色：

视频风格化：

图像合成：

生成高分辨率图像，突破扩散模型的限制！支持Lora 微调。

好了，关于DiffSynth-Studio就简单介绍这么多，想了解更多详细的内容请访问上面的项目地址。

接下来我们看看基于DiffSynth-Studio的视频转动漫工作流。

工作流介绍

工作流下载后导入到ComfyUI中，如果存在缺失节点，请根据提示进行缺失节点的安装，安装成功后记得重启哦。

ComfyUI-DiffSynth-Studio节点地址：

https://github.com/AIFSH/ComfyUI-DiffSynth-Studio

本工作流涉及到以下模型（老徐已将需要的模型整理到了网盘，可文末获取）：

AnimateDiff、RIFE、textual_inversion、Annotators、controlnet、stable_diffusion/flat2DAnimerge_v45Sharp.safetensors

模型放置位置：

AnimateDiff、RIFE、textual_inversion放置目录：

ComfyUI\custom_nodes\ComfyUI-DiffSynth-Studio\models

Annotators、controlnet放置目录：

ComfyUI\models

stable_diffusion/flat2DAnimerge_v45Sharp.safetensors放置目录：

models/stable_diffusion/

整个工作流相对也比较简单，前半部分是需要转换视频的上传及模型、ControlNet控制节点。

后面两个节点分别是视频转绘处理Diffutoon节点和视频预览节点。在Diffutoon节点中可以调整生成视频的参数。这里通过start参数可以控制从视频的哪一秒开始着色转换，length可调整视频的生成长度。如果您的本地配置不高可以尝试降低animatediff_batch_size和animatediff_stride的值。

结果展示：

原视频：

转绘后视频：

好了，今天的分享就到这里了，感兴趣的赶快下载试玩吧~~

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。