DDiT动态补丁调度通过显著提升AI生成速度，成功解决了AI创作过程中效率低下的问题。具体而言，生成一张高质量的720p图片平均只需要12秒，而5秒的短视频生成时间也从30分钟缩短到了10分4秒。这项技术让AI能够根据画面内容自动调整计算力分配，从而实现快速而高质量的生成。 团队通过研究人类画家的绘画过程，发现他们采用粗细搭配的方式来提高效率。传统AI方法通常用统一规格的拼图块拼整幅画，而人类画家会先铺底色块再细描细节。受此启发，研究团队提出了“动态补丁调度”的概念，允许AI根据需要选择不同大小的补丁来绘制不同部分。 在这个过程中，早期阶段使用大面积补丁快速确定主体位置和背景色彩，这样可以砍掉一半的计算量而几乎不影响视觉效果。接下来进入精细阶段后，系统切换到小补丁进行逐像素的细节处理，确保画面的每一处都清晰细腻。 这个技术还适用于视频场景，算法能够识别帧之间的变化并进行相应调整。转场帧使用大补丁快速过渡，而动作帧则用小补丁捕捉运动模糊。 为了让现有的模型学会这种灵活变化的能力而无需重新训练整个模型，团队采用了LoRA轻量级适配器技术。这种方法给原有模型增加了多个输入通道对应不同尺寸的补丁模块。由于只需要新增少量参数就能实现加速效果所以训练成本大大降低。 系统判断何时切换补丁的核心是观察图像变化速度的快速性和缓慢性。通过计算连续帧的三阶导数来衡量变化的变化速度，并根据结果决定使用大补丁还是小补丁。实验显示在绘制蓝天白云时大补丁使用率高达90%，而斑马群穿过栅栏时小补丁使用率仅为17%，这表明算法能够智能地将资源分配到真正需要的地方。 经过实测数据验证，该技术将FLUX-1.Dev模型的速度提升了3.52倍，图像生成时间从12秒缩短到了3.4秒。视频方面，Wan-2.1模型的5秒720p视频从30分钟缩短到了10分钟。质量评估显示三大指标FID、CLIP、ImageReward几乎持平，部分场景甚至有所微增0.3%。 在线盲测结果显示61%的用户认为质量完全相同或更好看。22%的用户偏爱原始模型，但也有17%的用户认为DDiT版本更好看。这种加速效果带来了流畅的视觉体验并获得额外加分。 这个技术不仅在图像处理上有应用前景，还可以应用于文本生成、语音合成、芯片设计等领域。未来还可以在不同区域使用不同大小的补丁来实现更细粒度控制。设计师可以实时迭代海报设计，教育工作者可以实时生成课堂素材，短视频创作者也能告别熬夜渲染的痛苦。 研究团队强调DDiT技术具有很强通用性，任何基于Transformer架构的生成模型都可以应用这项技术来提高效率和质量。随着新一代大模型不断涌现和技术迭代升级，“单步内动态切换”将成为下一个目标。AI生成工具也将从专业工具演变为大众玩具——灵感闪现时不再被漫长等待偷走热度。