用于在具有挑战性的水下环境中对鱼类进行三维追踪的深度学习方法，以支持未来自主水下车辆的感知功能

《Frontiers in Robotics and AI》：Deep learning methods for 3D tracking of fish in challenging underwater conditions for future perception in autonomous underwater vehicles

　　水下无人驾驶车辆（UUVs）的侵入行为可能影响鱼类福利，需开发感知系统以自动调整操作。本研究构建了基于立体视觉和单目深度学习的四类方法（SegmentDepth、BBoxDepth、SuperGlue、DepthAnything）评估鱼-车距离，通过对比声呐数据验证准确性，发现SegmentDepth的MAE最低（0.187m），SuperGlue次之（0.205m），DepthAnything误差较大（0.412m）。实时性能测试显示，SuperGlue和SegmentDepth在ROS2环境下可达5-10Hz更新频率，但BBoxDepth因匹配算法延迟较高（1.15Hz）。研究表明，立体视觉方法在复杂水环境（如浑浊、高密度鱼群）中表现更优，但需优化实时性。未来需结合多传感器数据提升鲁棒性，并针对不同硬件平台优化部署方案。

　　在现代水产养殖领域，无人水下航行器（UUVs）的应用正变得越来越广泛，尤其是在鱼群管理、环境监测以及自动化作业等方面。由于鱼群通常会避开外界干扰物，例如在网箱中部署的UUVs，因此，如何设计能够减少对鱼群影响的系统成为了一个重要的研究课题。为了实现这一目标，研究者们开始探索利用先进的视觉技术，尤其是基于深度学习的方法，来实时监测UUVs与鱼群之间的距离，从而实现对鱼群行为的自动感知和控制。这项研究不仅有助于改善鱼群的福利，还可能提高水产养殖的自动化水平，降低人工操作的需求。

为了实现这一目标，研究团队开发了多种基于视觉的处理管道，包括三种基于立体视觉的方法（SegmentDepth、BBoxDepth和SuperGlue）以及一种基于单目视觉的方法（DepthAnything）。这些方法通过不同的方式处理和分析水下视频，以评估鱼群与UUVs之间的距离。为了确保这些方法能够应用于实际的水下作业场景，它们被集成到Robot Operating System (ROS2)框架中，以便在水下机器人系统中进行实时运行。此外，研究团队还通过与声呐数据的对比，验证了这些方法的准确性，以确保它们能够在实际操作中提供可靠的输入信息。

### 1. 研究背景

水产养殖是全球重要的蛋白质来源之一，近年来，随着技术的发展，越来越多的自动化解决方案被引入以提高生产效率。然而，传统的人工管理方式存在诸多问题，包括人员安全风险、鱼群福利受损、设备维护成本高等。为了克服这些问题，研究者们开始探索使用机器人和自动化工具进行鱼群管理，例如使用UUVs进行网箱清洁、监测鱼群行为等。然而，这些自动化操作可能会对鱼群造成干扰，因此，开发能够实时感知鱼群与设备之间距离的系统显得尤为重要。

### 2. 研究方法

#### 2.1 数据采集

研究团队使用了一组来自商业鱼场的视频数据，其中包括不同形状（圆柱形或立方体）、尺寸（直径30厘米、60厘米和边长60厘米的立方体）和颜色（黄色或白色）的结构。这些结构被安装在水下，以便记录鱼群的反应。视频数据由一套定制的立体摄像机和Ping360声呐系统采集，其中立体摄像机能够提供双目图像，而声呐系统则提供360度扫描数据。为了确保数据的准确性，研究团队对摄像机进行了标定，并在视频采集过程中排除了前1分钟和后1分钟的数据，以减少瞬态效应的影响。

#### 2.2 实现环境

为了便于未来的集成和部署，研究团队将这些处理管道从Python环境移植到了ROS2框架中。ROS2作为一种广泛使用的机器人操作系统，能够提供良好的实时性能支持。然而，由于ROS2的性能与桌面计算机不同，研究团队首先在桌面计算机上评估了这些方法的运行频率，并根据所需的时间分辨率（5–10 Hz）对它们进行了优化。

#### 2.3 处理管道

研究团队开发了四种不同的处理管道：SuperGlue、DepthAnything、SegmentDepth和BBoxDepth。其中，SuperGlue、SegmentDepth和BBoxDepth是基于立体视觉的，而DepthAnything是基于单目视觉的。这些方法在鱼群检测和跟踪方面具有相似的模块，但它们在处理立体匹配和深度估计方面存在差异。

- **SuperGlue管道**：使用深度卷积神经网络（CNN）进行立体匹配，并通过滤波器筛选出与鱼群相关的匹配点。该方法在处理过程中需要同时分析左右两个摄像机的图像，并通过三角化计算出鱼群的3D位置。
- **DepthAnything管道**：基于单目视觉，仅使用左摄像机的图像进行深度估计。虽然这种方法在计算上较为高效，但其准确性受到图像质量、光照条件和背景干扰的影响。
- **SegmentDepth管道**：结合了图像分割和立体匹配技术，通过分割模型生成鱼群的掩码，并利用这些掩码进行更精确的立体匹配。该方法在处理过程中需要更多的计算资源，因此在ROS2中进行了优化。
- **BBoxDepth管道**：基于边界框匹配，利用鱼群的边界框进行立体匹配。虽然这种方法在计算上较为简单，但其准确性可能不如基于图像特征匹配的方法。

### 3. 研究结果

#### 3.1 深度估计和轨迹跟踪

在单帧深度估计测试中，所有处理管道都提供了合理的距离估计，但不同方法之间的结果存在差异。基于立体视觉的方法（SuperGlue、SegmentDepth和BBoxDepth）在距离估计上表现出较高的相似性，而DepthAnything则提供了不同的距离排序。这表明，单目方法在深度估计方面可能存在一定的偏差。然而，DepthAnything在某些情况下表现出更高的轨迹平滑性，这可能意味着其在低可见度环境中的鲁棒性更强。

#### 3.2 对干扰物的距离评估

在评估干扰物与鱼群之间的距离时，基于立体视觉的方法与声呐数据基本一致，而DepthAnything则显示出较高的距离估计值。这种差异可能源于声呐数据的平均处理方式，而基于视觉的方法则能够捕捉到更精确的个体距离。此外，基于视觉的方法在某些情况下表现出更高的标准差，这可能是由于其对个体距离的高精度要求。

#### 3.3 对象检测、立体匹配和处理效率

在对象检测方面，DepthAnything表现出较高的检测率，因为它只需要处理单目图像。然而，基于立体视觉的方法在处理过程中需要同时分析左右两个图像，这可能导致一定的检测损失。SuperGlue的检测率较低，这可能是由于其基于特征匹配的方式在某些情况下不够准确。SegmentDepth和BBoxDepth在检测率上表现较好，但它们的立体匹配质量存在差异。

在处理效率方面，基于立体视觉的方法在ROS2中表现出不同的性能。FishDetector和FishTracker模块的更新频率较高，而DepthAnything和SuperGlue模块的更新频率较低，但仍在5–10 Hz的范围内。BBoxMatcher模块的更新频率最低，这可能影响整个处理管道的实时性能。

### 4. 讨论与分析

#### 4.1 深度估计和轨迹跟踪

深度估计和轨迹跟踪是本研究的核心任务之一。基于立体视觉的方法在处理过程中需要同时分析左右两个图像，并通过三角化计算出3D位置。这种方法虽然在某些情况下可能受到噪声和遮挡的影响，但总体而言，其结果较为可靠。相比之下，单目方法（DepthAnything）虽然在计算上更为高效，但其深度估计可能存在一定的偏差，尤其是在低可见度环境下。

#### 4.2 干扰物距离评估

在评估干扰物与鱼群之间的距离时，基于立体视觉的方法与声呐数据表现出较高的相似性，而DepthAnything则显示出较高的距离估计值。这种差异可能源于声呐数据的平均处理方式，而基于视觉的方法则能够捕捉到更精确的个体距离。然而，基于视觉的方法在某些情况下表现出更高的标准差，这可能是由于其对个体距离的高精度要求。

#### 4.3 方法的详细比较

在详细比较这些方法时，研究团队发现，基于立体视觉的方法在对象检测和立体匹配方面表现出更高的鲁棒性，而单目方法则在计算效率上更具优势。此外，基于边界框匹配的方法（BBoxDepth）在某些情况下可能产生较大的误差，因为其匹配过程仅依赖于边界框的位置和大小，而不是图像中的实际特征。

#### 4.4 未来应用与改进

尽管这些处理管道在当前研究中表现出良好的性能，但为了更好地应用于实际的水下机器人系统，它们还需要进一步的改进。例如，提高对低光照和高浊度环境的适应能力，以及优化处理管道的实时性能。此外，为了确保这些方法能够在实际的水下环境中有效运行，还需要进行更多的现场测试和校准。

### 5. 结论

本研究开发并测试了多种基于视觉的方法，用于评估水下机器人与鱼群之间的距离。这些方法不仅能够提供准确的深度估计，还能支持实时跟踪和控制。基于立体视觉的方法在大多数情况下表现出较高的准确性，而单目方法则在计算效率上更具优势。未来，这些方法可以进一步优化，以适应更复杂的水下环境，并与声呐等其他传感器结合，实现多模态感知系统，从而提高水下机器人的自主性和鲁棒性。