塔斯娱乐资讯网

Solv3R:三维重建能接着算吗? 给房间拍了十张照片,三维模型已经建好;再补拍

Solv3R:三维重建能接着算吗?
给房间拍了十张照片,三维模型已经建好;再补拍几个角度,能否沿用已有结果继续修正?Solv3R研究的正是这个问题:把一次性预测几何,改成可持续调用的多视角求解过程。

许多几何模型让图像依次经过不同Transformer层,中间特征与计算阶段绑定。循环网络即使共享权重,若仍依赖“这是第几步”,也难以同时处理已经算过多轮的旧视角和刚加入的新视角。

Solv3R从DéjàView出发,把随迭代步数变化的门控改为可学习常量。同一个更新算子只读取当前状态与原始图像编码,不必知道每个视角走过几步。每轮都重新注入图像信息,防止状态偏离观测;再按整体均方根幅度归一化,抑制反复更新导致的数值漂移。

不过,取消步数条件并不自动带来收敛。训练时,模型先经历随机次数的无梯度更新,再执行可求导更新,在末轮接受相机、深度与射线的几何监督,并蒸馏原模型的预测。研究者还会加噪或把部分视角重置到初始编码,训练它从错误状态恢复,也模拟新旧视角混合的情况。

这样学到的目标有三项:已有准确结果继续算也应稳定;受到扰动后能纠正;新照片加入后,新旧状态可以联合优化。它既能离线重建,也能增量建图、地图重定位和流式处理,这些模式共用求解器,无需各自增加专门训练的模块。

证据要看具体条件。在148个多视角窗口的稳定性分析中,144个在64次调用以内达到停止阈值,平均17.5次;其中143个停止时旋转误差低于5度。这是特定分析集的经验结果,并非任意场景的收敛保证。

另一个价值是缓存。重定位时,已求解地图作为固定注意力上下文,同一份KV缓存可跨迭代复用。论文中每个地图视角缓存约2.86MB,对照DéjàView逐阶段缓存45.8MB,约为其十六分之一;这不等于整套系统显存缩小十六倍。

边界也很直接:停止变化可能只是停在错误解。附录展示两组照片重叠很少时,模型把一组放错位置,继续迭代仍未纠正。离线各项指标也并非全面领先。流水线提高吞吐量,不能据此宣称单帧等待时间同比下降。

它的意义,是让三维计算结果成为可复用、可修订的状态;实际价值仍取决于视角覆盖、停止阈值及算力预算。

计算机视觉 Transformer