NCE编辑优选:NeuBridge:连接量化激活与脉冲神经元的ANN-SNN转换方法
本研究来自浙江大学王爱丽课题组。本研究通过NeuBridge框架的提出,为高效、低延迟的脉冲神经网络应用奠定了理论基础和实用方法论,并有望显著推动神经形态计算和边缘计算的发展。 文章介绍 NeuBridge: Bridging Quantized Activations andSpiking Neurons for ANN-SNN Conversion Yuchen Yang(杨玉琛), Jingcheng Liu(刘京诚), Chengting Yu(俞承廷), Chengyi Yang(杨城熠), Gaoang Wang(王高昂) and Aili Wang(王爱丽) 通讯作者: 王爱丽,浙江大学 研究背景: 随着人工智能规模不断扩张,传统人工神经网络(ANN)面临高功耗与计算资源瓶颈,推动低能耗的类脑脉冲神经网络(SNN)兴起。SNN凭借异步事件驱动的脉冲机制,在理论上具备出色的能耗与计算资源效率。然而,当前的SNN性能尚难以匹敌成熟的ANN模型,主要瓶颈在于现有ANN-SNN转换方法中的量化误差与脉冲时序不均匀误差。这些方法往往基于脉冲频率编码,需要大量时间步保证精度,实际应用中效率低下且性能受限。因此,亟需一种高效精准的ANN-SNN转换框架,以提升SNN的实际应用性能和效率。 研究内容: 该研究提出了一种创新性的ANN-SNN转换框架——NeuBridge(如图所示),旨在解决传统转换方法中的性能和延迟问题。 NeuBridge框架包括三大核心创新点: 自适应时间编码机制:首次引入具有自适应能力的时间编码参数,在ANN量化感知训练阶段自动优化,有效地将空间域中的量化激活值转化为时间域的高效脉冲序列,显著减少转换时间步。 解码-编码神经元:提出双阶段脉冲神经元模型,解码阶段积累膜电位并优化脉冲接收,编码阶段以动态膜电位调整脉冲发放,彻底消除了传统转换过程中的不均匀误差。 量化神经网络与脉冲神经网络的无损映射:建立了QNN与SNN间的严格等价映射关系,优化了量化激活和脉冲序列之间的精准对应,最大限度地降低了量化误差。 研究团队在CIFAR-10与ImageNet数据集上进行了广泛实验,结果表明NeuBridge在极少的时间步内(2-3个时间步)实现了与当前最先进方法相当甚至更高的精度。例如,在AlexNet与ResNet网络上,NeuBridge的性能在2个时间步内即可达到甚至超过以往需要7个甚至更多时间步的现有方法。此外,NeuBridge在能耗方面具有极大优势,仅为传统ANN模型的约1.3%,显著优于量化神经网络(QNN)。 综上所述,本研究通过NeuBridge框架的提出,为高效、低延迟的脉冲神经网络应用奠定了理论基础和实用方法论,并有望显著推动神经形态计算和边缘计算的发展。 作者介绍 王爱丽 研究员 浙江大学 王爱丽,浙江大学国际联合学院ZJU-UIUC联合学院研究员,助理教授,博士生导师。于2019年获华盛顿大学电子与计算机工程专业博士学位。主要研究方向脑启发计算算法与硬件协同设计、低功耗模拟混合信号集成电路设计。研究成果发表于IEEE TAI,Frontiers in Neuroscience, IEEE TCAS-I, IEEE Sensors Journal,...