阀门网站建设wordpress 资讯类主题
字节前脚刚发布了文生图大模型 SDXL-Lightning，后脚就又对文生视频领域下手了。
就在这几天又推出了文生视频模型：AnimateDiff-Lightning，它是一种快速的文本到视频生成模型。它生成视频的速度比原始 AnimateDiff 快十倍以上，只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。
01.介绍
该模型采用了渐进式对抗扩散蒸馏技术，恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力。
这一突破性进展也为 AI视频生成领域 带来了新的可能性。
尤其是与 Contorlnet 的配合下，视频转绘 的工作流程有望迎来全新的升级。
此外，字节团队还开源提供了对应的Comfyui工作流程，为开发者提供了一套完整且高效的解决方案。
值得一提的是，AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2 中精心提炼而来，包含了1步、2步、4步和8步提炼模型。
其中，2步、4步和8步模型的生成质量表现尤为突出，为用户带来更加优质的体验。
除了模型本身的优秀表现，字节还建议使用运动LoRA来进一步提升视频质量。运动LoRA能够产生更强的运动效果，建议选择强度在0.7~0.8之间的运动LoRA以避免水印等干扰因素。
02.使用
主要特色功能
-
仅需 4-8 步推理，就能生成高质量视频，速度快效果好。
-
与 Contorlnet 配合，提升视频转绘工作流程。
-
提供 Comfyui 工作流程，方便开发者使用。
-
推荐使用运动 LoRA，增强运动效果
应用场景
AnimateDiff-Lightning 模型 的应用场景可以很广泛，不限于影视制作、广告宣传、教育培训等多个领域。
03.操作
好了，介绍就到这里，我们来 ComfyUI 中体验一下。
工作流使用到了两个插件：ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite
直接在 ComfyUI 管理器 中搜索安装即可；或者直接导入工作流，在 管理器 中安装缺失节点也是可以的。
这里安装好插件以后，记得要把网盘中的文件模型放入指定目录下：
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models
好了，直接上工作流。
正常文生图的节点听雨这里就不讲了，我们讲下和 AnimateDiff 相关的几个节点：
这个节点，主要是用来选择 AnimateDiff 的模型，这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。
调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法，这里我们选择 sqrt_linear (AnimateDiff) 就可以了。
这里的步数需要和上一个节点选择的模型一致，选择的是 2 步模型，这里的步数就选 2。
CFG 默认 1.0 即可，采样器和调度器也选择默认的 euler 和 sgm_uniform。
以下的两个节点也是联合使用的，批次大小代表总共生成多少张图片。
帧率代表每秒的视频包含多少张图片，以下就代表 1 秒的视频里包含了 16 张图片，包含的图片越多，人物的动作幅度越大，相对也就不太稳定。
批次大小 16，帧率 16，代表生成 1 秒的视频；如果想要生成 2 秒的视频，那就把批次大小改成 32，以此类推。
循环次数就是同一段视频循环几次。
格式就是输出的视频格式了，有很多格式可选，包括 gif、mp4、webp等等。
也可以结合 AnimateDiff 的运动 Lora 模型，只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个 动态LoRA加载器 就可以了。
这里的 LoRA 模型分别代表了向左向右，逆时针顺时针，向下向上，拉近拉运，还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。
LoRA 模型也需要放在指定的目录下：
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora
在这里插入图片描述
顺便把测试的几个视频也发一下：
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。