



时间:2025-05-16 关注公众号 来源:网络
在即将到来的2025年国际计算学习会议(ICLR)上,一个闪耀的焦点即将揭晓——DynamicCity项目。这不仅仅是一次技术展示,它标志着我们在四维场景生成技术领域的一次重大飞跃,彻底改变了我们对城市数字化的理解。DynamicCity项目旨在模拟与重建城市环境,不仅捕捉三维空间的精细结构,更将时间维度融入其中,让虚拟城市真正「活」起来。通过深度学习与先进算法的融合,该项目能够实时生成动态变化的城市景观,从繁忙的街道到季节更替的自然景观,每一帧都栩栩如生,展现了前所未有的真实感和互动性。这不仅为城市规划、游戏开发、乃至虚拟现实体验带来了革命性的变化,也为研究城市动态行为提供了全新的工具和视角。我们即将踏入一个城市可以被数字孪生技术全面激活的新时代,探索未来城市的无限可能。
上海人工智能实验室等机构联合推出dynamiccity:一款高效、高质量的4d动态场景生成模型,已入选iclr2025spotlight论文。该模型突破了现有3D场景生成技术局限于静态单帧的瓶颈,首次实现了高质量的4d场景建模,并在生成质量、训练速度和内存消耗方面取得显著进展。
DynamicCity的核心创新在于其4D到2D特征降维技术。它利用变分自编码器(VAE)将复杂的4D场景压缩为紧凑的2DHexPlane特征表示,并结合扩散模型(DiffusionTransformer,DiT)进行场景生成。这种方法有效避免了高维潜空间的复杂性,提升了模型的学习效率。
具体而言,DynamicCity包含两个关键模块:
基于HexPlane表征的VAE:该模块利用Transformer架构的投影模块将4D点云序列压缩为六个2D特征平面(HexPlane),并通过ExpansionandSqueezeStrategy(ESS)进行高效解码,重建原始时空信息。
基于重组HexPlane的扩散模型:该模块利用PaddedRolloutOperation(PRO)将HexPlane重组为适合DiT框架的特征图,最大程度保留结构化信息,从而提升DiT的学习效果。
DynamicCity的主要贡献包括:高效的时空特征压缩、创新的特征重组方法以及强大的可控生成能力。它支持轨迹引导、指令驱动、4D场景修改和布局条件生成等多种功能,为自动驾驶等领域提供了强大的虚拟仿真工具。
项目主页和代码已公开:
论文: 主页: 代码:DynamicCity的实验结果表明,其在生成质量、效率和可控性方面均优于现有方法。该模型为4D场景生成领域带来了突破性进展,有望推动智能系统在虚拟环境中的训练和验证。
以上就是ICLR2025Spotlight|让城市「动」起来!DynamicCity突破4D大场景生成技术边界的详细内容,更多请关注其它相关文章!
文章内容来源于网络,不代表本站立场,若侵犯到您的权益,可联系我们删除。(本站为非盈利性质网站)
电话:13918309914
QQ:1967830372
邮箱:rjfawu@163.com