利用脉冲神经网络的时间处理能力增强神经形态计算的鲁棒性新范式

《Nature Communications》：Neuromorphic computing paradigms enhance robustness through spiking neural networks

　　本研究针对深度学习模型易受对抗性攻击的脆弱性问题，开展了神经形态计算范式增强鲁棒性的研究。研究人员通过利用脉冲神经网络(SNN)的时间处理能力，开发了优先处理任务关键信息的编码策略和早期退出解码方法，结合专门的训练算法准确捕捉时间依赖性。实验结果表明，在CIFAR-10数据集上，采用这些方法的SNN实现了比传统人工神经网络(ANN)高两倍的鲁棒性，同时保持了低能耗优势，为开发下一代环保可靠的脉冲智能系统奠定了基础。

　　

在人工智能飞速发展的今天，深度学习技术虽然在多个领域取得了显著成就，却始终笼罩在对抗性攻击的阴影之下。即使是人眼难以察觉的微小输入变形，也足以让最先进的人工神经网络(ANN)产生严重误判，这在自动驾驶、人机交互等安全性关键应用中构成了巨大风险。与此形成鲜明对比的是，人类大脑在执行复杂认知任务时展现出令人惊叹的鲁棒性。这种差异背后的机制一直是科研人员探索的焦点，而神经形态计算作为连接神经科学与人工智能的桥梁，为解决这一困境提供了新思路。

近日发表在《Nature Communications》上的研究"Neuromorphic computing paradigms enhance robustness through spiking neural networks"系统阐述了如何充分利用脉冲神经网络(SNN)的时间处理能力来提升模型的鲁棒性。该研究由北京大学的丁建浩、于兆飞、伯明翰大学的Jian K. Liu和北京大学的黄铁军共同完成，为开发下一代可靠且节能的神经形态计算系统指明了方向。

传统人工神经网络与大脑在处理时间信息方面存在根本差异。ANN使用基于发放率的编码来模拟神经系统，而大脑则依赖精确的脉冲时序。SNN作为大脑启发的计算模型，不仅能模拟脑-like的处理机制，还具备两大时间处理优势：一是能够在时间维度上编码信息，实现更复杂的信息表示；二是利用专门训练算法开发精确的脉冲定时，支持全局梯度反向传播。这些特性使SNN特别适合处理细粒度的动态输入。

研究团队发现，调整脉冲发放的时间显著影响SNN的鲁棒性。基于这一观察，他们提出了创新的编码方法，在编码序列中优先处理任务关键信息。这种方法通过确保重要信息被早期处理来提升鲁棒性。此外，能够准确捕捉时间依赖性的SNN训练算法可以引导网络收敛到获得鲁棒性的参数，同时支持早期退出解码，通过忽略解码退出后发生的时间扰动来增强鲁棒性。

关键技术方法包括：ANN-SNN转换方法、基于激活的反向传播(Act-BP)和基于时间的反向传播(Temp-BP)训练算法、电流编码、泊松编码、RateSyn同步编码（含RateSynS和RateSynE变体）、首脉冲时间(TTFS)编码、率解码和TTFS解码策略、融合编码方法，以及在CIFAR-10和MNIST等数据集上使用FGSM、PGD等对抗攻击方法的鲁棒性评估。

优先处理任务关键时间信息提升SNN鲁棒性

研究团队通过ANN-SNN转换确保权重矩阵相同，从而在MNIST数据集上公平比较ANN和SNN模型。他们发现，与传统电流编码和泊松编码相比，新提出的RateSyn编码方法能显著提升鲁棒性。RateSyn通过调节输入序列的脉冲持续时间，将背景和前景扰动映射到不同的时间段，其中RateSynE编码通过让任务关键信息早期出现，有效增强了SNN的鲁棒性。

实验结果表明，RateSynE编码下，SNN首先接收前景扰动，随后是背景扰动，准确率曲线反映了这一序列特征，初始保持平稳，然后逐渐上升，在仿真时间接近结束时急剧下降。曲线中的拐点与前景和背景扰动的时间密切相关，说明时间信息处理对鲁棒性的关键作用。

具有灵活编码的SNN训练算法实现鲁棒泛化

研究比较了两种利用精确脉冲定时的训练方法：基于激活的反向传播(Act-BP)和基于时间的反向传播(Temp-BP)。Act-BP通过平滑不可微的脉冲函数实现精确的膜电位调节，而Temp-BP直接计算脉冲定时的导数实现精确的脉冲位置调整。

在FashionMNIST数据集上的实验表明，使用三种编码策略（电流、泊松和RateSynE）时，Temp-BP训练的SNN均表现出优于Act-BP的鲁棒性，而Act-BP又优于转换的SNN。特别是在RateSynE编码下，Temp-BP训练的SNN在仿真后期达到最高的攻击后准确率，表明Temp-BP能够利用长时间仿真中的时间信息提升性能。

早期退出SNN解码通过防御后续扰动提升鲁棒性

任务关键信息的优先出现对SNN解码方法提出了新要求。研究团队采用首脉冲时间(TTFS)解码策略，基于第一个脉冲的时间确定输出预测，从而减少有效仿真时间。

实验结果显示，TTFS解码比率解码能更有效地增强鲁棒性，而将电流编码替换为TTFS编码能进一步提升鲁棒性。TTFS解码将仿真时间减少约一半，解码后发生的扰动对分类准确率没有影响，同时显著降低了SNN仿真所需的突触操作(SOP)数量，实现了鲁棒性和能效的双重提升。

SNN采用融合输入编码增强对复杂攻击的性能

为应对现实世界中各种攻击类型，研究团队在CIFAR-10数据集上评估了SNN在不同范数约束（l₀、l₁、l₂和l_∞）的PGD攻击下的性能。他们提出融合编码策略，平衡SNN在自然数据上的泛化能力和对抗输入的鲁棒性。

融合模型将多个编码器的输出沿通道维度合并，使用选择的解码器对SNN的输出序列进行解码。实验结果表明，采用融合编码的SNN在四种攻击类型下平均性能比电流编码提升4.3%，切换到TTFS解码又能比率解码提升4.0%的性能。使用Temp-BP训练时，SNN的性能达到相同架构ANN的两倍以上，而能耗和能量延迟积(EDP)分别比ANN低5.6倍和8.2倍。

该研究系统论证了精确脉冲定时在增强神经网络鲁棒性中的关键作用，为理解大脑鲁棒性和开发可靠神经形态计算设备提供了新见解。通过充分利用SNN的时间处理能力，优先处理编码序列中的任务关键信息，减少解码时暴露于扰动的时间，并结合专门设计的训练方法，显著提升了SNN的鲁棒性。融合编码策略进一步增强了神经形态系统在复杂攻击场景下的整体性能。这些进展为开发下一代节能、可靠的脉冲智能系统奠定了基础，推动了神经形态计算在安全关键领域的应用。