NCE编辑优选：用于含噪毫米波雷达轨迹学习的通用脉冲神经网络框架

图1：通用的神经形态框架mm-SNN

本文研究内容的核心包括所提出的通用框架与基于该框架的优化方法。图1为本文提出的从毫米波雷达及辅助传感器中提取特征并学习表示的通用框架(称为mm-SNN)，我们将其中的数据处理分为五个步骤：预处理原始的传感数据、利用脉冲神经网络从数据中提取特征并学习表示、特征融合、建模时间依赖性、转换与输出。

图2：注意力机制优化方法。(a) 通道注意力模块; (b) 时序注意力模块; (c) 混合注意力模块

进一步，我们发现深度学习中通用的注意力机制可以嵌入到mm-SNN中以增强数据特征，从而提升框架在轨迹预测任务下的性能。如图2所示，我们引入了三种通用的注意力模块，分别嵌入在具有脉冲结构的卷积神经网络、全连接网络和特征融合网络中，并通过消融实验证明了包含多种注意力机制的框架具有更好的性能。如图3所示，相对于仅使用一种注意力模块的框架，mm-SNN(包含了三种注意力模块)在所有测试序列轨迹下最贴近真实轨迹。

图3：消融实验中预测轨迹和真实轨迹的比较。(a) – (e) 分别为五种不同的测试轨迹序列，每种序列对应一条轨迹。

我们还测试了mm-SNN对抗噪声的鲁棒性，通过人为向毫米波雷达数据中添加噪声，证明利用脉冲神经网络的框架比传统神经网络更稳健。如图4所示，无论是使用原始数据还是人为添加两种噪声的数据作为输入情况下，mm-SNN在测试损失方面始终比非脉冲机制的框架更稳健。同时，我们进一步研究了当噪声强度增强时框架的性能变化。如图5所示，mm-SNN在噪声强度较小时误差更低且更稳健，当噪声强度超过一定阈值后mm-SNN中误差逐渐超过未脉冲框架。这是因为脉冲神经网络的状态空间是离散的且每个神经元都是天然的噪声滤波器，使得在添加轻微噪声的情况很难迁移当前状态、但当噪声足够大时就容易发生状态突变产生崩溃。因此，得益于脉冲神经网络的鲁棒性，加入适当程度的噪声不会明显影响mm-SNN的性能。

图4：随着模型训练过程不断变化的测试损失。(a) – (c) 分别为使用原始数据、向原始数据中人为添加脉冲噪声、向原始数据中人为添加高斯噪声。

图5：mm-SNN与非脉冲机制框架的各项误差指标随高斯噪声强度增加的变化图。(a) – (c) 分别为最大误差、标准误差和均方根误差的量化图

研究背景：

近年来，多样化的测量和估计应用开始在工业场景中大量出现，毫米波雷达作为一种前景良好的探测和测距系统获得了诸多关注。虽然毫米波雷达可在恶劣环境下工作，但其产生的数据包含离群点、呈现含噪和稀疏特性。处理毫米波雷达数据的传统方法在数据量不断增长的情况下逐渐显露局限性。作为改进，一些文献利用深度学习模型处理毫米波雷达数据并取得了可观的成效，但是大多需要额外的模块和成本来处理数据中的噪声和稀疏问题。脉冲神经网络作为第三代神经网络，其丰富的时间动力学在捕获数据的时间依赖性方面具有天然优势，同时凭借其神经元膜电位泄漏衰减与稀疏脉冲发放机制，适合用于处理含噪和稀疏的特征数据。因此，本文提出基于脉冲神经网络设计一个能够处理具有丰富时间信息同时含噪且稀疏的毫米波雷达数据的通用框架。

严明玉  特别研究助理

中国科学院计算技术研究所

• 严明玉，中科院计算所博士，现任特别研究助理。获得中科院“特助”项目资助，入选中科院稳定支持基础研究领域青年团队。研究方向是图智能算法效率优化、图智能处理器设计和图智能系统设计。曾获得北京市技术发明一等奖，在人工智能和体系结构领域顶刊顶会发表论文10余篇，申请发明专利10余项。