RGB-D｜深度图像

深度图像 = 普通RGB三通道彩色图像 + Depth Map

RGB图和深度图是配准的，像素之间一一对应

Depth Map｜深度图

包含与视点场景对象表面距离有关信息的图像通道，通道本身类似于灰度图像，每个像素值是传感器测出距离物体的实际距离

分类

• 与相机距离成比例：较近的表面较暗; 其他表面较轻



• 与标称平面的距离相关：靠近焦平面的表面较暗; 远离焦平面的表面更轻 - 与标称平面的距离相关：靠近焦平面的表面较暗; 远离焦平面的表面更轻

---

RGB-D相机

• 结构光法

• Kinect v1
• iPhone X

• 飞行时间法(TOF)

• Kinect v2
• Phab 2 Pro

结构光法

不依赖光照和纹理；夜间可用；主动投影已知图案；功耗低；紧纪律精度高

• 时分复用编码：投影N个连续序列的不同编码光，接收端根据接收到的N个连续的序列图像识别每个编码点

• 优：可得到较高分辨率深度图（有大量的3D投影点）；受物体本身颜色影响小（采用二进制编码）
• 缺：只适用静态场景；计算量大（识别一个编码点需要计算连续N次投影）

• 空分复用编码：根据邻域内的一个窗口中所有点的分布识别编码

• 优：适用于运动物体
• 缺：不连续的物体表面（遮挡）可能产生错误的窗口解码

TOF飞行时间法

• 原理：连续发射不可见光脉冲到被测物体上，接受从物体反射回的光脉冲，探测光脉冲的飞行时间计算被测物体距离
• 分类（根据不同的调制方法）

• 脉冲调制：通过电荷累计计算时间，对元器件要求高
• 连续波调制(main)：利用相位偏移计算时间

• 优：可调节发射脉冲的频率改变测量距离；测量精度不会随着测量距离增大而降低；抗干扰能力强；适合距离比较远的(无人驾驶)
• 缺：功耗大；分辨率低深度图质量差

RGB-D相机问题

• 深黑色物体影响：深黑色物体可以吸收大量的红外光导致测量不准
• 表面光滑物体影响：镜面反射时，相机投射的结构光只有当接收器在特定位置时才能接收到

• 当物体表面超过一定光滑程度时，深度相机精度会急剧下降，甚至没有深度值

• (半)透明物体影响：深度值的歧义性

• 半透明时同一次发射的结构光可能会接收到两次
• 全透明时接收不到

• 视差影响：结构光深度相机发射端和接收端通常有一定的间距

RGB-D特点

• 优：规避了纯cv的弱点

• 缺乏纹理
• 光照不足
• 过度曝光
• 软件计算复杂度高
• 快速运动

• 缺

• 受深色物体、(半)透明物体、镜面反射物体、视差影响
• 深度图质量与硬件密切相关
• 功耗大，成本高

References

• ????RGB-D数据集：​​RGB-D (Kinect) Object Dataset​​
• ​​RGB-D相机介绍_LazyMe-[RGB-D（深度图像） & 图像深度_JNing