科研团队突破稀疏视角3D重建技术难题 新方法实现质量效率双提升

【问题】近年来,三维场景重建数字文博、工业巡检、机器人感知、虚拟现实内容生产等领域需求持续增长。以3D高斯投射为代表的重建与渲染方法因训练和渲染效率较高而受到关注。但在受采集条件限制的场景中,往往只能获得3至4张不同角度图像,信息不足使重建结果容易出现模糊、形变和视觉伪影,影响其在移动端采集、应急测绘和低成本内容生产中的落地。 【原因】研究团队认为,稀疏视角下的关键矛盾在于“信息量有限”与“模型表达能力强”之间的不匹配:一上,常规训练容易过度依赖少量像素线索,导致过拟合;另一方面,高斯表示存空间冗余,局部相邻高斯点的颜色与透明度高度涉及的,随机丢弃单个高斯点难以有效打破这种依赖。此外,颜色建模使用的球面谐波参数在数据稀缺时也可能成为噪声的“容器”,高阶系数容易把偶然的光照变化或误差当作真实细节学习,继续放大伪影。 【影响】在标准数据集对比测试中,传统方法在极少视角条件下常出现结构不稳、边缘扭曲、细节漂移等问题,不仅降低视觉质量,也会影响后续测量、交互和编辑等环节。对于需要快速建模的应用场景,如现场勘查、设备维护、展陈数字化采集等,一旦重建结果不稳定,人工修正成本将显著增加,削弱“少拍几张即可重建”的实际价值。 【对策】针对上述瓶颈,团队提出DropAnSH-GS方法,从“结构化随机扰动”和“由粗到细学习”两上同时改进。 一是引入区域性“锚点丢弃”机制。训练中随机选取部分高斯点作为锚点,并将其若干最近邻划入同一丢弃区域,该次迭代中把区域内透明度强制置零,相当于制造连续的信息空白。研究认为,相比零散丢弃,这种方式更能迫使模型利用更大范围的上下文进行推断,从而减少对局部像素线索的过度依赖,提升表示稳健性。 二是提出球面谐波渐进式学习策略。训练初期仅使用低阶球面谐波刻画基本颜色与形体关系,随着训练推进再逐步引入更高阶细节,以抑制数据稀缺阶段高阶参数对噪声的过拟合。实验显示,该策略在提升画面一致性和细节可信度的同时,还能显著降低模型体量,提高存储与传输效率。 团队介绍,该方案采用模块化设计,可与多种现有3D高斯投射训练框架对接,整体训练开销增幅较小。公开测试结果显示,在3视角条件下,新方法的峰值信噪比(PSNR)达到20.68,较基线提升约1.5分贝,结构相似性(SSIM)由0.646提升至0.724。同时,在与FSGS、CoR-GS等多种变体的集成实验中均带来增益,显示出较好的通用性。在紧凑模型上,仅保留零阶球面谐波时,相关测试中模型体积可压缩至约1.7MB,仍能保持较好的重建指标,体现其在端侧与网络受限场景中的应用潜力。 【前景】业内人士认为,稀疏视角三维重建能力的提升将进一步降低采集门槛与成本,推动三维内容从专业采集走向更广泛的轻量化生产。下一步研究可在“更智能的丢弃策略”和“更贴近真实成像的邻域建模”上继续深化,例如基于梯度、透明度或不确定性进行自适应锚点选择,并将各向异性等几何特征纳入邻域判定,以提升对复杂遮挡、反光材质和动态光照的适应能力。随着开源生态完善与工程化优化推进,相关技术有望在数字孪生、在线三维编辑、沉浸式导航与交互等方向拓展更多应用空间。

这项研究的价值不仅体现在指标提升,也在于对稀疏视角重建难点的更清晰拆解。通过结构化随机扰动模拟遮挡与信息缺失,模型被迫进行更强的全局推断;通过渐进式学习遵循“先整体、后细节”的训练节奏,减少高阶参数在早期对噪声的放大。两种策略相互配合,为稀疏视角重建提供了新的思路,也为有关方向的深入突破带来参考。随着技术开源与落地推进,其在三维内容创作、虚拟现实、文化遗产数字化等领域的应用前景值得关注。