HRRF：一种用于高分辨率遥感语义分割的分层递归推理框架

　　语义分割在遥感图像中的应用面临三大挑战：小尺度目标遮挡、线性地物断裂和拓扑不一致。本文提出分层递归推理框架（HRRF），通过双流上下文感知编码器（DCFG）、双向递归细化解码器（BRRD）和图神经网络拓扑优化模块（GTO）的协同工作，构建了多阶段递归推理机制。DCFG通过动态加权融合Transformer全局上下文与CNN局部细节，解决了传统Transformer过平滑问题。BRRD的RFMIA模块引入流场引导的特征对齐和递归反馈机制，实现多尺度特征的自适应融合与迭代优化。GTO模块通过构建超像素图并施加拓扑约束，修正了传统像素级模型的结构性缺陷。实验表明，HRRF在ISPRS Potsdam、Vaihingen和LoveDA数据集上均取得最优性能，特别是小目标（车辆、树木）的边界精度提升显著，同时通过轻量级图优化使边界F1分数提高1.17%。该框架创新性地将递归推理与图结构约束相结合，为高分辨率遥感语义分割提供了新的技术范式。

　　

### 高分辨率遥感影像语义分割的分层递归推理框架#### 1. 研究背景与挑战

高分辨率遥感影像的语义分割面临三大核心挑战：**小尺度目标模糊**（如车辆、树木等细小物体易被背景淹没）、**线性地物断裂**（如道路、河流因分辨率限制导致分割不连续）以及**拓扑不一致性**（分割结果缺乏地理逻辑，如道路不连续、建筑边界突变）。传统方法如U-Net、DeepLab等虽取得进展，但难以系统性解决上述问题，尤其在复杂场景中表现不足。#### 2. 方法创新：分层递归推理框架（HRRF）

HRRF通过三个协同阶段构建递归推理体系，分别针对全球上下文建模、多尺度特征融合与迭代优化、拓扑一致性约束：**（1）双流上下文感知编码器**

- **Transformer backbone（Trans-Enc）**：基于Swin Transformer提取高分辨率全局上下文，但存在过度平滑局部细节的倾向。

- **轻量级细节提取器（ELDE）**：采用深度可分离卷积与瓶颈结构，并行处理高频率局部特征（如屋顶、车辆边缘）。

- **动态门控融合（DCFG）**：在编码器第2-4层激活，通过通道注意力与空间全局池化动态加权融合双流特征，解决Transformer与CNN的互补性问题。**（2）双向递归优化解码器（BRRD）**

- **递归流调制聚合模块（RFMIA）**：核心创新点，包含：

- **流场生成网络（G-flow）**：通过双3×3卷积提取局部特征，再经1×1回归生成位移场，指导高分辨率特征对齐。

- **动态融合策略**：基于像素置信度阈值（默认0.5），当置信度高时使用流场对齐的高精度特征，置信度低时采用全局重采样避免信息丢失。

- **递归反馈机制**：通过3层递归（RFMIA?至RFMIA?），允许低层细节反向修正高层语义（如道路延伸段与支路连接处优化）。**（3）图结构拓扑优化模块（GTO）**

- **超像素图构建**：采用SLIC算法将分割结果分割为300-400个超像素（node），每个节点特征由光谱均值与像素级分类概率组成。

- **图卷积网络（GCN）**：通过2层GCN实现信息传播，第一层聚合1-2跳邻居特征，第二层优化全局拓扑约束，解决边缘断裂问题。

- **端到端优化**：在初步分割结果（M-init）基础上，通过概率图建模（P-Vi）实现像素级概率重分布，最终生成拓扑一致的语义掩码。#### 3. 关键技术突破

- **动态流场对齐**：通过置信度引导的流场生成，避免传统方法因强制对齐导致的局部信息丢失。例如，对低置信度区域（如阴影遮挡部分）自动降级为全局重采样策略。

- **多尺度递归反馈**：解码器通过4个层级（对应256×256至16×16特征图）进行3级递归（RFMIA?处理最低分辨率特征），允许小尺度物体在高层语义中保留细节。

- **轻量级拓扑约束**：GTO模块仅增加0.2M参数和0.1G FLOPs，通过超像素图传递结构先验，显著提升边界连续性（边界F1分数提升1.17%）。#### 4. 实验验证与对比分析

**数据集**：

- **ISPRS Potsdam**（高分辨率城市场景，5cm分辨率，6类）

- **ISPRS Vaihingen**（紧凑型城市区域，9cm分辨率，6类）

- **LoveDA**（多场景大样本数据集，0.3m分辨率，7类）**基线模型**：

- 混合架构：Swin-UperNet、GLFFNet、CM-UNet

- 基础模型：Mask2Former、SegFormer

- 针对遥感优化的模型：RS3Mamba、Samba**量化结果**：

| 数据集 | HRRF mIoU | Mask2Former | SegFormer |

|-----------------|-----------|-------------|-----------|

| Potsdam | 86.37% | 86.20% | 85.78% |

| Vaihingen | 82.37% | 81.50% | 80.65% |

| LoveDA | 54.20% | 52.80% | 50.95% |**关键优势**：

- **小物体检测**：在Potsdam数据集的“Car”类（独立车辆）中，HRRF达到95.1% mIoU，优于次优模型（93.2%）。

- **线性地物连续性**：Vaihingen数据集的“Road”类边界断裂问题减少62%，通过GCN优化连接断裂段。

- **跨场景泛化**：LoveDA数据集的农业区域（Agriculture类）分割精度提升18%，证明框架对复杂场景的适应性。#### 5. 机制与优势总结

- **双流编码**：Transformer（全局语义）与ELDE（局部细节）并行处理，通过DCFG门控动态融合，解决单一模态的局限性。

- **递归流场调制**：通过置信度引导的流场对齐，在256×256至16×16尺度间实现特征对齐，避免传统空洞卷积的信息衰减。

- **拓扑一致性约束**：GCN通过超像素图建模空间关系，强制相邻地物类别一致性（如道路连接、建筑包围区闭合）。#### 6. 实践意义与局限性

- **应用场景**：城市规划（建筑边界）、灾害评估（道路断裂检测）、环境监测（植被覆盖分析）。

- **局限性**：

- 计算成本：ELDE模块增加15%参数量，需GPU 24GB显存支持。

- 超像素分割敏感：极端情况下（如密集植被覆盖区）可能生成不合理超像素，需优化SLIC参数。

- 非端到端训练：GTO模块需两阶段训练，可能引入局部优化偏差。#### 7. 未来方向

- **端到端优化**：将超像素分割转换为可微分过程（如流形聚类），实现端到端联合训练。

- **轻量化设计**：采用通道剪枝与知识蒸馏压缩ELDE模块，目标将推理速度提升至50ms/图（当前28.7ms/图）。

- **多模态扩展**：集成SAR/光学/热红外多源数据，通过跨模态注意力增强小目标检测鲁棒性。#### 8. 结论

HRRF通过分层递归推理，系统性解决了遥感语义分割的三大核心问题：在编码阶段融合全局语义与局部细节，解码阶段通过递归流场优化特征对齐，最终通过图结构建模拓扑约束。实验表明，其在高分辨率城市场景（Potsdam/Vaihingen）和多样化场景（LoveDA）均优于现有SOTA模型，为遥感智能分析提供了新的技术范式。