# 双目目标测距技术规格（基于对偶检测）

> **范围**：平台无关、语言无关的技术规格。通过立体相机对与目标检测器估计被检测目标的距离（及可选三维位置），不依赖稠密立体匹配或端到端深度网络。
>
> **版本**：1.0（由项目专用路线图抽取并泛化而成）。

---

## 1. 目的与定位

### 1.1 动机

单目目标检测只能给出像素位置，无法提供度量距离。立体相机对提供几何约束，可将对应检测结果转换为距离。该方法适用于：

- 只需关心少量离散目标（而非稠密环境地图）；
- 稠密立体匹配代价过高或不必要；
- 已有互补测距传感器（如激光雷达），双目估计可作为次要或近场来源。

### 1.2 一句话概述

左右图像各自独立运行轻量目标检测器；从对应检测框的边缘（或中心）提取视差；通过经典立体公式 \(Z = F \cdot B / D\) 将视差转换为度量距离。不生成稠密对应场或深度图。

### 1.3 能力边界

- 仅对被检测器报告的目标（如特定类别）测量距离；
- 有效工作距离由基线、焦距与可接受误差决定（见第 5 章）；
- 不输出稠密深度、实例掩码或目标以外的场景几何；
- 不替代主远程测距传感器，定位为近中距离的互补来源。

---

## 2. 硬件与输入假设

所有数值参数均为配置项，禁止硬编码。

| 项目 | 典型/示例值 | 说明 |
|------|-------------|------|
| 基线 \(B\) | 0.06 m（示例） | 可配置；误差与 \(1/B\) 成正比 |
| 图像分辨率 | 如 1920×1080 | 检测流水线支持的任意分辨率 |
| 帧率 | 如 30 fps | 流水线须满足所选帧率的周期 |
| 焦距 / 视场 / 传感器尺寸 | — | 须由标定或厂商数据获得 |
| 内参与外参 | — | 立体校正所必需（见第 3 章） |
| 同步方式 | 优先硬件同步 | 软件同步可行，但须量化残余误差 |
| 检测器输入尺寸 | 如 640×640 | 左右目的 letter-box / 缩放变换必须完全一致 |

---

## 3. 前置条件：标定、立体校正与帧同步

### 3.1 标定与立体校正

本方法假设图像对已完成立体校正，使得：

- 对应极线水平且对齐（同一物理点在两图中 \(y\) 坐标相同）；
- 视差纯为水平分量：\(D = x_L - x_R\)。

所需数据：

1. 左右相机各自的内参（\(f_x, f_y, c_x, c_y\)）与畸变系数；
2. 两相机之间的相对旋转与平移；
3. 应用于每一帧的校正映射（或等效处理）。

**验证方法**：校正后收集匹配检测框，统计垂直残差 \(|\Delta y|\)。实用接受准则为 P95 \(\le 1\) px（实测后确定）。若残差过大，须进行离线自标定（如棋盘格）并在线重映射。

### 3.2 帧同步

若两路曝光时刻不一致，运动目标会产生虚假视差。

| 采集形态 | 同步质量 | 建议处理方式 |
|----------|----------|--------------|
| 同帧拼接单流（side-by-side） | 硬件保证同曝光 | 解码一次，裁切为左右图 |
| 双独立流 | 取决于硬件触发或软件时间戳 | 按序号 + 接收时间窗配对；监测残余时序抖动 |

无硬件同步时，须在预期目标速度下量化距离误差，必要时限制仅用于低速场景。

### 3.3 时间戳约定

优先使用处理平台上的单调接收时间戳。不得伪造传输层未提供的采集时间戳。

---

## 4. 数学模型

### 4.1 符号约定

| 符号 | 含义 | 单位 |
|------|------|------|
| \(B\) | 基线（左右光心间距） | m |
| \(F\) | 像素焦距（校正后 \(f_x = f_y\)） | px |
| \(c_x, c_y\) | 主点 | px |
| \(x_L, y_L\) | 特征点在**左目（参考目）**图像中的像素坐标 | px |
| \(x_R\) | 同一特征点在右目图像中的像素坐标 | px |
| \(D\) | 视差 \(= x_L - x_R\) | px |
| \(Z\) | 前向距离（沿光轴分量） | m |
| \(X, Y\) | 左目坐标系下的横向 / 纵向偏移 | m |
| \(R\) | 斜距 \(\sqrt{X^2+Y^2+Z^2}\) | m |

约定：校正后以左目为参考系；目标位于相机前方时视差为正。

### 4.2 核心公式（校正后坐标系）

\[
\begin{align*}
D &= x_L - x_R \\
Z &= \frac{F \cdot B}{D} \\
X &= \frac{(x_L - c_x) \cdot Z}{F} \\
Y &= \frac{(y_L - c_y) \cdot Z}{F} \\
R &= \sqrt{X^2 + Y^2 + Z^2}
\end{align*}
\]

- 当主测距传感器同样报告前向距离时，优先使用 \(Z\)（前向分量）；仅在需要真实欧氏距离时使用 \(R\)。
- 小角度下 \(Z \approx R\)；大偏航角时二者差异增大。

### 4.3 检测器预处理后的坐标映射

检测器通常接收固定尺寸的 letter-box 或缩放图像。必须遵守两条约束：

1. **左右图像使用完全相同的几何变换**（同缩放、同填充）。否则垂直对齐性质被破坏。
2. **视差在原始图像坐标系下计算**。将检测框映射回原生分辨率后再计算 \(D\)，可保留传感器的全部像素精度。

内参 \(F, c_x, c_y\) 同样须对应原生分辨率。

### 4.4 有损压缩的影响

帧内压缩（如 MJPEG）会在框边缘引入定位噪声。其对视差不确定度 \(\delta D\) 的贡献应计入第 5.2 节误差预算。若实测影响显著，可提高码流质量档位，或在带宽允许时改用无压缩 / 轻压缩格式。

---

## 5. 视差取点与误差分析

### 5.1 对应点选择

同一目标在两目中的检测框宽度很少严格相等（检测抖动、外观差异）。使用框中心会使宽度差的一半混入视差。

| 方法 | 主要误差来源 | 建议 |
|------|--------------|------|
| 框中心 | 宽度差直接进入视差 | 对照 / 回退方案 |
| **同侧边缘**（如两框左边缘） | 仅边缘定位噪声 | **主方案** |
| 多边缘 + 亚像素精化 | 实现成本更高 | 可选后续精化 |

实用取法：

\[
D = x_L^{\text{左边缘}} - x_R^{\text{左边缘}}
\]

（若检测器直接给出左上角坐标，该值可直接使用。）当边缘测量被判定不可靠时，回退到中心视差并输出诊断警告（需节流）。

### 5.2 误差传播

由 \(D = F B / Z\) 得：

\[
\begin{align*}
\delta Z &\approx \frac{Z^2 \cdot \delta D}{F B} && \text{（绝对误差）} \\
\frac{\delta Z}{Z} &\approx \frac{Z \cdot \delta D}{F B} && \text{（相对误差）}
\end{align*}
\]

\(\delta D\) 的构成：

- 检测框边缘定位噪声；
- 校正后残余垂直失配；
- 运动目标的时序不同步；
- 压缩伪影。

基线与焦距的标定误差线性传递，完成出厂或自标定后通常可忽略。

### 5.3 示例误差表

下表仅为**示意**。假设 \(B = 0.06\,\text{m}\)、\(\delta D = 1\,\text{px}\)、原生宽度 1920 px。给出两种示例水平视场；真实焦距须由标定数据代入。

像素焦距近似：\(F = (W/2) / \tan(\text{HFOV}/2)\)。

| 距离 \(Z\) | \(D\) @ \(F\approx960\,\text{px}\)（HFOV \(\approx90^\circ\)） | \(D\) @ \(F\approx1663\,\text{px}\)（HFOV \(\approx60^\circ\)） | \(\delta Z\) @ 90° | \(\delta Z\) @ 60° |
|-----------:|----------------------------------------------------------:|------------------------------------------------------------:|-------------------:|-------------------:|
| 5 m  | 11.5 px | 20.0 px | 0.43 m | 0.25 m |
| 10 m | 5.8 px  | 10.0 px | 1.7 m  | 1.0 m  |
| 15 m | 3.8 px  | 6.7 px  | 3.9 m  | 2.3 m  |
| 20 m | 2.9 px  | 5.0 px  | 6.9 m  | 4.0 m  |
| 30 m | 1.9 px  | 3.3 px  | 15.6 m | 9.0 m  |
| 50 m | 1.2 px  | 2.0 px  | 43 m   | 25 m   |
| 100 m| 0.6 px  | 1.0 px  | 174 m  | 100 m  |

\(\delta D\) 加倍则表中所有误差加倍。取得真实焦距后必须重算本表。

### 5.4 有效工作距离

实用有效性判据（可调）：

\[
\text{valid} \;\Leftrightarrow\; D \ge D_{\min}\;\text{（如 3 px）} \;\land\; \delta Z(\delta D=1\,\text{px}) \le Z_{\text{tol}}\;\text{（如 2 m）}.
\]

按上表示例，广角镜头有效域约 \(\le 15\,\text{m}\)，较窄视场约 \(\le 20\,\text{m}\)。域外估计标记为无效；方位信息仍可发布，距离由其他传感器承担。

敏感性：误差 \(\propto 1/B\)。基线加倍可使误差减半、有效域约扩大一倍——这是提升远距离能力最直接的杠杆。

### 5.5 远距离扩展（最小实现范围之外）

- 亚像素边缘精化（灰度重心、抛物线拟合等）；
- 距离估计的时间滤波；
- 更大基线或更长焦距；
- 相对真值传感器拟合的经验修正项；
- 优雅降级为“仅方位 + 外部距离”。

---

## 6. 左右目关联

**输入**：属于同一逻辑帧的两路检测结果（见第 7 章）。

**硬约束**（任一不满足即拒绝配对）：

- 类别标识一致；
- 垂直残差 \(|\Delta y| \le \tau_y\)（校正后，如 2 px）；
- 视差落在目标距离上下限对应的区间内；
- 相对高度相近：\(|h_L - h_R| / \max(h_L,h_R) \le \tau_h\)（如 0.25）。

**代价与贪心匹配**：

\[
\text{cost} = \frac{|\Delta y|}{\tau_y} + \frac{|\Delta h|}{\tau_h\cdot\max(h_L,h_R)}.
\]

按代价升序排列候选对；仅当 \(\text{cost} < 1\) 时接受；强制一一配对。

多数跟踪场景目标数极少（一两个），\(O(n^2)\) 贪心算法足够。匹配器应通过接口注入，以便后续可替换为匈牙利算法、网络流等而不改动调用方。

**失败处理**：未匹配的检测本帧不产生距离，方位仍可发布；流水线其余部分继续运行。

**可选连续性线索**：若存在轨迹标识，优先匹配相同 track id 的框。

---

## 7. 单周期数据流水线

目标周期为所选帧率的倒数（如 30 fps 时 \(\le 33\,\text{ms}\)）。

```
采集（优先硬件同步的立体对）
  → 解码 / 去马赛克 / 色彩转换
  → 几何预处理（校正映射、左右完全一致的 letter-box / 缩放）
  → 左右图像并行推理
  → 检测框映射回原生分辨率
  → 关联（第 6 章）
  → 视差 → (Z, X, Y, R)
  → 有效性判定（第 5.4 节）
  → 可选时间滤波
  → 发布结果
```

- **配对键**：共用帧序号（或序号不可用时采用紧接收时间窗）。
- **时间滤波（轻量）**：对 \(Z\) 做一阶低通，配合跳变重置门限。跨帧关联可用类别 + 最近邻连续性；完整多目标跟踪为可选项。
- **失败路径**：任一阶段失败（解码、推理、关联）导致丢帧或发布 `valid = false` 消息。失败日志须节流。

---

## 8. 图像通路考虑

具体编解码与加速硬件因平台而异，此处仅陈述逻辑要求。

- 优先从相机缓冲到校正、letter-box 直至检测器输入张量的零拷贝通路。
- 校正与 letter-box 对左右两目必须位级一致。
- 若采集格式为有损，须量化其对边缘噪声的贡献（见第 4.4 节）。

---

## 9. 性能预算

具体数值取决于所选检测器、加速器与图像尺寸。关键架构要求是：

> 左右推理**必须并发执行**。串行执行通常使时延翻倍，可能无法满足帧周期预算。

代表性预算骨架（用实测值填充）：

| 阶段 | 预算（示意） |
|------|--------------|
| 采集周期 | 1 / 帧率 |
| 解码 + 预处理 | 待实测 |
| 左目推理 | 单设备 / 单核上的检测器时延 |
| 右目推理 | 与左目并发 |
| 关联 + 测距 | 少量目标时 < 1 ms |
| 端到端时延 | 实测；须为控制或融合消费方留有余量 |

---

## 10. 模块分解（语言无关）

以下逻辑模块将算法、I/O 与配置清晰分离。

| 模块 | 职责 |
|------|------|
| StereoRanger | 纯算法：关联、视差提取、距离计算、有效性、可选滤波。接收检测结果 + 相机参数，输出距离消息。可完全单元测试。 |
| 检测前端 | 两个独立检测实例（或同一实例调用两次），输出原生坐标下的框。 |
| 图像采集与预处理 | 采集、解码、校正、左右完全一致的几何变换。 |
| 配置 | 基线、内参、视差上下限、关联阈值、滤波系数——全部外置。 |

建议的结果记录（字段名仅为示意）：

```
header                  // 时间戳、序号、健康状态
frame_sequence
class_id
track_id                // 未知时为 0
forward_distance_m      // Z
slant_range_m           // R（可选）
disparity_px
confidence              // [0,1]
valid
centre_pixel_x_mid      // 虚拟双目中心（见第 11.2 节）
bbox_*                  // 参考目框，供诊断
```

---

## 11. 传感器融合与控制接口

### 11.1 距离源优先级（示例策略）

```
主传感器有效          → 使用主传感器
主传感器无效 / 超龄，
  双目有效            → 使用双目
双目超出有效距离域    → 标记无效
两者均不可用          → “无距离”降级模式
```

### 11.2 交叉校验

两者同时有效且 \(|Z_{\text{stereo}} - d_{\text{primary}}|\) 超过相对或绝对阈值时，记录节流警告并以主传感器为准。注意 \(Z\) 为前向分量；大偏航角时与纯径向测量存在差异。

### 11.3 方位：虚拟双目中心

每枚物理相机相对模组中线偏移 \(\pm B/2\)。直接使用单目像素偏移会引入恒定角度偏差

\[
\beta_{\text{bias}} \approx \arctan\bigl((B/2)/Z\bigr)
\]

近距离时不可忽略（如 \(B=60\,\text{mm}\) 时 3 m 处约 0.6°）。

校正后，位于基线中点的**虚拟相机**对同一目标的投影恰为两目像素的平均值：

\[
\begin{align*}
x_{\text{mid}} &= \frac{x_L + x_R}{2}, \\
y_{\text{mid}} &= y_L = y_R.
\end{align*}
\]

因此：

- 存在立体匹配时，发布 \(x_{\text{mid}}\)（及 \(y_{\text{mid}}\)）作为方位源；
- 仅单目检出时，回退到该目原始坐标（接受偏差），或在存在最近有效距离时施加单侧修正 \(\Delta x = F\cdot(B/2)/Z\)。

模组中线与机体中轴之间的固定安装偏移属于外参标定问题，与双目几何无关。

### 11.4 互补工作域

双目测距通常在近中距离最准确，而窄波束主传感器在此区间可能丢靶；主传感器在远距离（双目视差坍缩处）保持优势。简单的优先级或融合规则即可实现全程覆盖。

---

## 12. 建议实施阶段

| 阶段 | 内容 | 出口条件 |
|------|------|----------|
| **v1.0** | 同步对采集、一致预处理、双路检测、同侧边缘视差、贪心关联、\(Z=F B/D\)、有效性标志、结果发布、可选与主测距传感器融合 | 标定数据可用；实测误差与第 5 章模型一致；基本时延预算满足 |
| **v1.1** | 出厂校正不足时的自标定 / 重映射、亚像素边缘精化、时间滤波、track-id 关联、相对真值的经验偏差修正 | 具备 v1.0 外场数据 |
| **v2.0**（可选） | 用实例分割掩码替代检测框、评估学习式立体或单目深度网络、更大基线或更长焦距硬件、框内局部稠密精化 | 单独可行性研究 |

---

## 13. 验证清单

| 项目 | 方法 | 通过标准（示意） |
|------|------|------------------|
| 校正质量 | 静态场景，匹配框 \(|\Delta y|\) 直方图 | P95 \(\le 1\) px（实测后调整） |
| 测距精度 | 多个已知距离的静态标靶 + 真值传感器 | 误差趋势与第 5.3 节一致；有效域内 \(\delta Z\) 在容限内 |
| 同步性 | 目标快速横向运动 | 无系统性虚假视差 |
| 时延与吞吐 | 并发负载下的端到端计时 | 满足所选帧率预算 |
| 融合 / 降级 | 主传感器丢失、超龄、双目超距的回放或仿真 | 所有降级路径行为符合规格 |
| 日志纪律 | 注入失败 | 仅输出节流后的诊断信息 |

---

## 14. 设计取舍记录

| 决策 | 理由 |
|------|------|
| 不做稠密立体匹配 | 稀疏目标无需；全分辨率对应计算代价高 |
| 几何公式而非学习深度 | 可解释、无需额外训练数据，并为后续网络评估提供干净真值基线 |
| 贪心关联 | 目标基数极小；接口保留后续升级空间 |
| 前向分量 \(Z\) 作为主距离输出 | 与多数单点测距传感器语义对齐 |
| 虚拟双目中心作为方位源 | 消除物理相机偏移引起的恒定近场角度偏差 |
| 同侧边缘视差 | 抵消两目框宽差 |
| 双目作为次要 / 互补源 | 绝对误差随 \(Z^2\) 增长；方法在主传感器最弱处价值最大 |

---

## 15. 开放问题 / 配置检查清单

具体部署前须用真实数值填补以下项：

1. 焦距（或完整内参）与畸变模型。
2. 出厂立体标定是否可用及其格式；否则规划自标定。
3. 采集形态（同帧拼接单流 vs 双流）与同步方式。
4. 有损压缩对边缘噪声的实测贡献。
5. 目标计算设备上所选检测器的实测时延（并确认左右推理可并发）。
6. 可接受的绝对 / 相对距离误差及由此确定的有效工作包络。
7. 未来硬件是否考虑更大基线或不同光学配置。

---

## 附录 A – 公式速查

\[
\begin{align*}
D &= x_L - x_R \\
Z &= \frac{F B}{D} \\
\delta Z &\approx \frac{Z^2\,\delta D}{F B} \\
x_{\text{mid}} &= \frac{x_L + x_R}{2}
\end{align*}
\]

有效性（示例）：\(D \ge 3\,\text{px}\) 且 \(\delta Z(\delta D=1\,\text{px}) \le 2\,\text{m}\)。

---

*文档结束。*