港大携手Adobe，共创前沿图像处理工具：ObjectMover引领编辑新纪元

在数字图像编辑领域迎来新的突破，香港大学与全球知名软件巨头adobe强强联合，共同推出了革命性的图像编辑模型——ObjectMover。这款创新工具标志着图像处理技术迈入了一个全新阶段，它旨在简化复杂的对象移位与替换过程，为专业设计师和广大用户开启前所未有的创作体验。ObjectMover通过先进的AI算法，实现了精准的对象识别与无缝移动，不仅极大提升了编辑效率，更以用户友好界面降低了技术门槛，让创意自由流淌，每一次点击都能轻松达成视觉上的完美跳跃。这一合作成果不仅是科技与艺术的碰撞，更是对未来数字内容创作领域的一次深远探索。

　　ObjectMover：革新图像编辑的AI模型 　　

objectmover是由香港大学和adobereSearch联合开发的先进图像编辑模型，旨在解决图像中物体移动、插入和移除时出现的诸多难题，例如光照、阴影的不协调以及物体失真等问题。该模型巧妙地将物体移动视为两帧视频间的特殊情况，充分利用预训练视频生成模型的跨帧一致性学习能力，通过微调将其应用于图像编辑任务。其核心架构采用序列到序列建模，输入包含原始图像、目标物体图像和指令图，输出则是物体移动后的合成图像。

　　

　　ObjectMover的核心功能 　　物体精准移动：ObjectMover可以将图像中的物体移动到任意指定位置，并自动调整光照、阴影、反射等物理效果，同时完美保留物体的原始特征。 　　自然物体删除：该模型能够真实地填充被移除物体的背景区域，避免生成无关的物体，并准确去除与物体相关的阴影和光影。 　　无缝物体插入：ObjectMover可以精确地保持被插入物体的特征，并自动生成与周围环境一致的光影效果，实现无缝融合。 　　ObjectMover的技术突破 　　视频先验知识迁移：ObjectMover将物体移动任务转化为两帧视频间的转换问题，利用预训练的视频生成模型（例如扩散模型）学习跨帧一致性。通过微调，将模型从视频生成任务迁移到图像编辑任务，从而有效利用视频模型预训练中学习到的物理规律和物体对应关系，实现图像编辑中光影的精准同步和物体特征的完美保留。 　　高效序列到序列建模：该模型将物体移动任务重新定义为序列预测问题。输入包括原始图像、目标物体图像和指令图（包含移动位置和方向），输出为处理后的图像。这种方法能够帮助模型更好地理解和处理物体在不同位置下的光影变化和遮挡关系。 　　高质量合成数据集：由于缺乏大规模真实物体移动数据集，研究团队利用现代游戏引擎（例如虚幻引擎）生成了高质量的合成数据集。该数据集涵盖了复杂的光照、材质和遮挡场景，显著增强了模型的训练多样性和泛化能力。 　　多任务学习策略：ObjectMover整合了物体移动、移除、插入以及视频数据插入四个子任务，在合成数据和真实视频数据上进行统一框架训练。这提升了模型对真实场景的泛化能力，使其在处理各种图像编辑任务时表现出更高的适应性和鲁棒性。 　　ObjectMover的获取方式及应用 　　项目官网： 　　arXiv论文： 　　

ObjectMover的应用前景十分广阔，涵盖以下领域：

　　特效制作：用于创建复杂的特效场景，例如物体的消失或出现，并保持场景的真实感。 　　虚拟场景编辑：在虚拟现实和游戏开发中，灵活调整虚拟场景中的物体，例如移动道具，同时保持光照和阴影的一致性。 　　游戏关卡设计：加速关卡设计流程，快速调整关卡中物体的布局。 　　产品展示：将产品放置在不同的场景中，展示其在不同使用场景下的效果。 　　空间规划：在建筑和室内设计中，移动家具或装饰品以评估不同的设计方案。 　　

以上就是ObjectMover—港大联合Adobe推出的新型图像编辑模型的详细内容，更多请关注其它相关文章！