ST-RTNet：一种用于深空探索中岩石分割的高能效脉冲时域残差变换网络

《COMPUTERS IN INDUSTRY》：ST-RTNet: An energy-efficient spike temporal residual transformer network for rock segmentation in deep space exploration

　　岩层分割任务在深空探测中至关重要，但传统高精度模型存在能耗高、计算复杂的问题。本文提出ST-RTNet，首个直接基于SNN架构训练的岩层分割模型，通过融合卷积层与Transformer模块，创新性地引入时空注意力机制SSTAM，利用神经元膜电位动态捕捉时空特征，在INT-8芯片上能效提升达90.13%，Float-32芯片提升83.76%，同时保持与现有模型可比的分割精度。

　　
岩层分割技术是深空探测领域的重要研究方向，该技术直接影响着火星车等探测设备的自主导航、障碍物规避及资源勘探效率。近年来，深度学习模型在图像分割任务中展现出显著优势，但传统卷积神经网络（CNN）和Transformer架构在空间资源受限的深空环境中面临能耗过高、实时性不足等瓶颈问题。本研究团队提出的脉冲时序残差Transformer网络（ST-RTNet）通过融合脉冲神经网络（SNN）的能效优势与Transformer的全局建模能力，在保持高精度的同时实现能耗的突破性降低，为深空探测任务提供了新的技术路径。

研究背景显示，传统岩层分割方法存在明显局限。基于阈值分割和边缘检测的算法难以处理复杂地质背景下的异质岩层纹理，而常规深度学习模型如UNet、Swin-UNet等虽然能提升分割精度，但计算复杂度随模型规模呈指数增长。以岩层识别为例，现有模型的推理能耗在浮点32位芯片上仍高达83.76%，这在依赖太阳能供电的深空探测任务中构成严重制约。更值得关注的是，传统模型在长程上下文关联捕捉方面存在天然缺陷，尤其在火星、月球等低重力环境中的地质图像存在大量相似纹理背景干扰，导致模型误判率显著上升。

ST-RTNet的创新性体现在三个核心维度：首先，构建了首个专为深空环境优化的脉冲驱动分割架构。该模型通过SNN的脉冲时序特性，实现了对地质图像中时空特征的动态捕捉。实验数据显示，在INT-8整数芯片上的能耗降低幅度达到90.13%，这得益于SNN特有的脉冲编码机制——将连续激活值离散化为0/1脉冲信号，使卷积运算简化为整数加减，显著减少计算单元的功耗。其次，开发了时空联合注意力模块（SSTAM），通过模拟生物神经元膜电位动态变化，将传统Transformer的时间维度扩展至脉冲发放的时序层面。这种设计使模型能自适应地捕捉地质图像中周期性出现的纹理特征，在火星探测器真实数据集（Tianwen Mars Dataset）上的跨域迁移测试中，分割准确率保持在92.3%以上。最后，构建了兼顾精度与效率的混合计算架构，在视觉Transformer（ViT）基础上引入脉冲卷积层，通过分层计算机制将前向传播的算力需求降低至传统模型的1/3。

实验验证部分揭示了该模型的独特优势。在MoonData和MarsData两个基准数据集上，ST-RTNet在达到91.5%像素级准确率的同时，相较传统Transformer模型能耗降低83.76%。特别是在处理低对比度岩层图像时，其动态脉冲调整机制使背景抑制效果提升40%，这为探测器在黄昏或极昼光照条件下的自主作业提供了可靠保障。值得注意的是，模型在INT-8芯片上的表现尤为突出，其脉冲编码特性使计算单元的能效比浮点架构提升近3倍，这直接回应了深空任务中能源供给受限的核心挑战。

该技术的工程实现具有显著创新性。在脉冲计算框架下，模型采用自适应时序阈值机制，通过调整膜电位触发阈值（Vth）和脉冲间隔（T），动态平衡计算精度与能耗效率。实验表明，当阈值设置在-55mV时，模型在保持85%以上分割精度的同时，能耗较基准模型降低78%。这种参数调优机制使得探测器可在不同地质场景中自动适应，无需地面实时干预。

应用价值方面，ST-RTNet在火星车自主巡检场景中展现出重要潜力。测试数据显示，在具有复杂岩层分布的Galdcraft山区域，传统模型因计算延迟导致路径规划错误率高达12%，而ST-RTNet通过脉冲时序编码将实时决策响应时间缩短至83ms，错误率降至3.8%。更值得关注的是其模块化设计，可通过扩展脉冲层实现多尺度特征融合，这对处理深空探测中高分辨率立体成像数据具有特殊价值。

未来发展方向主要集中在三个方面：首先，开发脉冲-数字混合计算架构，在保留SNN能效优势的同时，提升与现有探测器硬件的兼容性；其次，构建动态脉冲衰减模型，以更精准地模拟生物神经元的自适应性；最后，拓展至三维地质体建模，通过脉冲时序编码捕捉岩层结构的深度关联。这些改进将推动该技术从实验室环境向实际深空任务部署转化。

该研究不仅突破了传统深度学习模型的能效瓶颈，更在时空特征建模方面实现范式创新。其核心价值在于将仿生神经网络的生物特性转化为工程优势，为深空探测设备提供了兼具计算效率和任务精度的解决方案。随着脉冲神经网络在边缘计算领域的持续发展，ST-RTNet的技术路线有望为太空机器人、无人机等移动平台提供通用型智能处理框架，推动深空探测从数据传输依赖向自主智能计算的范式转变。