IROS 2025 | 北理工提出BoRe-Depth:仅8.7M参数,在嵌入式设备实现50.7 FPS高清深度估计
本文提出了一种面向嵌入式系统的自监督单目深度估计方法BoRe-Depth,旨在解决轻量化模型深度估计中边界模糊的问题。该方法采用创新的增强特征自适应融合模块(EFAF)和两阶段训练策略:第一阶段通过视图重建损失和边界对齐损失进行初步训练,第二阶段引入语义信息损失优化边界细节。实验表明,在NYUv2和KITTI等数据集上,BoRe-Depth仅用8.7M参数即达到SOTA性能,特别是在边界质量指标上
单目深度估计是无人系统实现3D感知的关键,成本低廉但效果常常不尽人意,尤其是在算力有限的嵌入式设备上,生成的深度图往往模糊不清,物体边缘细节丢失严重。

-
论文标题: BoRe-Depth: Self-supervised Monocular Depth Estimation with Boundary Refinement for Embedded Systems
-
作者: Chang Liu, Juan Li, Sheng Zhang, Chang Liu, Jie Li, Xu Zhang
-
机构: 北京理工大学
-
论文地址: https://arxiv.org/abs/2511.04388
-
代码仓库: https://github.com/liangxiansheng093/BoRe-Depth
-
录用会议: IROS 2025
研究背景
在自动驾驶、无人机导航和增强现实等领域,准确感知周围环境的3D结构至关重要。单目深度估计技术仅需单个摄像头就能预测像素级的深度信息,因其低成本和部署灵活性而备受关注。然而,现有方法在追求轻量化和高效率的同时,往往以牺牲深度图的细节为代价,导致物体边缘模糊,甚至出现物体形状扭曲或破碎,这在实际应用中是难以接受的。
目前自监督方法主要依赖视图重建和几何一致性损失进行训练,但由于边界区域在整个图像中占比较小,导致模型对边界的关注不足。虽然有一些工作尝试解决边界模糊问题,但它们通常模型参数量大,难以在嵌入式设备上实现实时计算。因此,如何在保证实时性能和轻量化的前提下,有效优化边界细节,是当前亟待解决的难题。
BoRe-Depth模型方法
为了在边界精细度和实时性之间取得更好的平衡,作者提出了BoRe-Depth。其整体框架如下图所示,采用自监督学习范式,主要由DepthNet(深度网络)、PoseNet(位姿网络)和一个创新的两阶段训练策略构成。

模型的核心创新在于DepthNet的设计以及独特的训练策略。
增强特征自适应融合模块 (EFAF)
作者发现,现有的轻量化模型为了效率,解码器中的上采样操作过于简单,未能充分利用编码器提取的多尺度特征。为此,他们设计了 增强特征自适应融合模块(Enhanced Feature Adaptive Fusion Module, EFAF)。

如上图所示,EFAF解码器在融合来自编码器的不同层级特征时,会通过一个 空间通道增强块 (Spatial Channel Enhancement Block, SCE) 对相邻层级的特征进行增强。SCE通过深度可分离卷积等轻量化操作,在扩展特征维度的同时,自适应地整合多层次特征,从而在全局范围内增强边界细节的表达能力,让解码器能更准确地捕捉复杂场景下的空间结构和深度变化。
结合语义信息的两阶段训练策略
为了进一步提升边界质量,作者设计了一个巧妙的两阶段训练策略。
-
第一阶段: 模型像传统的自监督方法一样进行训练,使用视图重建损失、几何一致性损失以及一个基于伪标签的边界对齐损失,得到一个初步的粗略模型。这里的伪标签由一个更强大的大模型生成,其边界比真值标签更清晰,为模型提供了良好的边界参考。
-
第二阶段: 在模型具备初步的深度估计能力后,引入 语义信息损失 (Semantic Information Loss)。具体来说,作者使用一个在语义分割任务上预训练并冻结的MPViT编码器作为“教师”,引导DepthNet的编码器(“学生”)学习语义知识。通过计算两个编码器在像素级特征上的相似性,促使深度估计编码器关注到场景中的物体及其边界,从而显著优化细节。
这种渐进式的优化策略,避免了在训练初期就引入语义信息可能导致的干扰,让模型在已经理解场景几何结构的基础上,再学习语义信息来精修边界,取得了1+1>2的效果。
实验结果与分析
作者在室内静态场景数据集NYUv2、室外动态场景数据集KITTI以及泛化能力测试数据集IBims-1上对BoRe-Depth进行了全面评估。
定量结果
如下表所示,无论是在NYUv2还是KITTI数据集上,BoRe-Depth在拥有最少参数量(8.7M)的情况下,多项关键指标均达到了SOTA水平,尤其是在专门评估边界质量的指标上,取得了最佳表现。这证明了模型在轻量化的同时,确实有效提升了边界清晰度。

在iBims-1数据集上的零样本泛化测试结果也表明,BoRe-Depth具有出色的场景迁移能力,性能全面领先于其他轻量化模型。

定性结果
从下面的室内和室外场景可视化对比可以看出,相较于其他模型产生的模糊、扭曲的深度图,BoRe-Depth预测的深度图轮廓最清晰、细节最准确,无论是室内的家具边缘,还是室外的车辆轮廓,都得到了很好的还原。

消融实验
作者还通过消融实验验证了EFAF模块和两阶段训练策略的有效性。结果表明,EFAF中的每个SCE分支都对提升边界质量有积极作用;而在第二阶段引入语义损失的策略,相比于其他方式(如联合训练语义分割解码器或在第一阶段就引入语义损失),取得了最好的性能。这充分证明了BoRe-Depth设计的合理性和创新性。


总结
BoRe-Depth为嵌入式设备上的实时高精度深度估计提供了一个非常出色的解决方案。它巧妙地通过轻量化的EFAF模块和渐进式的语义信息融合策略,在模型参数、运行速度和边界质量之间实现了极佳的平衡。
openvela 操作系统专为 AIoT 领域量身定制,以轻量化、标准兼容、安全性和高度可扩展性为核心特点。openvela 以其卓越的技术优势,已成为众多物联网设备和 AI 硬件的技术首选,涵盖了智能手表、运动手环、智能音箱、耳机、智能家居设备以及机器人等多个领域。
更多推荐

所有评论(0)