视频版IC-Light来了！Light-A-Video提出渐进式光照融合，免训练一键视频重打光

在数字光影的奇幻世界里，上海交大与中科大携手上海人工智能实验室，揭开了一项革命性的技术序幕——“Light-A-Video”，它如同一位掌握时光魔法的艺术家，无需漫长的训练，就能赋予视频全新的灵魂之光。这项技术，像是穿越时空的桥梁，连接着预训练图像重打光模型与视频扩散模型的智慧结晶，通过ConsistentLightAttention（CLA）与ProgressiveLightFusion（PLF）的神秘力量，解开了视频中光影变幻的连贯性难题。

在这个故事中，CLA模块扮演着守护者的角色，它的双重注意力仿佛是时间的滤镜，捕捉每一帧的细腻，平息了光照的每一次不驯服，让画面中的每一个瞬间都如梦似幻，稳定而深邃。而PLF策略，则是一位时间的编织者，用它那细腻的手法，将光线缓缓融合，确保了视频流的每一刻都如丝般顺滑，无缝链接过去与未来。

《光影织梦师：Light-A-Video的奇旅》是一场科技与艺术的盛宴，它不仅挑战了数据稀缺与高昂训练成本的传统桎梏，更是在无边的数字宇宙中，开辟了一条让视频重焕新生的梦幻之路。现在，就让我们跟随这束光，踏入这个每帧都是艺术品的未来视界，见证每一个平凡影像化作不朽光影传奇的瞬间。

上海交大、中科大及上海人工智能实验室团队研发出无需训练的视频重打光技术light-a-video，该技术突破了传统方法的高训练成本和数据稀缺瓶颈，实现了零样本视频重打光。

Light-A-Video的核心在于巧妙地结合了预训练的图像重打光模型（例如IC-Light）和视频扩散模型（例如AnimateDiff和CogVideoX）。通过ConsistentLightAttention(CLA)模块和ProgressiveLightFusion(PLF)策略，该技术有效地解决了视频重打光中的光照一致性和时间连贯性问题。

Light-A-Video的主要优势：

论文地址： 　　项目主页： 　　代码地址：

CLA和PLF模块详解：

CLA模块通过双重注意力融合，保留细节的同时减少光照抖动，实现稳定光照效果。PLF策略则通过逐步混合的方式，平滑地过渡光照，保持时间连贯性。

Light-A-Video架构图：

实验结果：

Light-A-Video在多个指标上超越现有方法，尤其在动作保留方面表现出色，实现了高质量、时间连贯的重打光效果。该技术也支持仅用前景序列进行背景生成和重打光。

未来发展：

团队将进一步改进Light-A-Video，以更好地处理动态光照，拓展其应用范围。Light-A-Video有望在视频编辑领域带来革命性变革。

以上就是视频版IC-Light来了！Light-A-Video提出渐进式光照融合，免训练一键视频重打光的详细内容，更多请关注其它相关文章！