
NCE编辑优选:突破工艺波动限制:簇编码神经元实现鲁棒训练
本研究来自浙江大学潘纲、林芃、陈鹏课题组。本文提出了一个簇编码神经元电路设计及其在忆阻器系统中的应用;首次考虑了大规模电路下制备工艺波动对时序学习稳定性的影响;首次发现了复杂神经元动力学可以提高脉冲神经网络硬件实现鲁棒性。 文章介绍 Variation-resilient spike-timing-dependent plasticity in memristors using bursting neuron circuit Yize Liu(刘毅泽), Jiayi Zhao(赵家艺), Yu Xiao(肖宇), Peng Chen(陈鹏), Haisong Chen(陈海松), Enhui He(何恩慧), Peng Lin(林芃) and Gang Pan(潘纲) 通讯作者: 潘纲,浙江大学 林芃,浙江大学 陈鹏,浙江大学 研究背景: 尖峰时间依赖性可塑性(STDP)作为生物突触的经典学习机制,被认为参与了生物大脑中广泛的学习和记忆过程。STDP功能也被认为是神经拟态计算中可被借鉴的网络无监督训练方法。相较于纯软件实现,神经形态器件及电路可以更高效的实现STDP训练。然而,STDP机制的有效性高度依赖于突触前后神经脉冲的精确时序匹配,模拟电路中固有的电路及器件差异会导致脉冲信号产生显著失真,进而严重影响学习性能,甚至让该功能在规模化集成电路中彻底失效。现有研究中,研究者们大多聚焦在如何通过不同材料与器件机制实现STDP功能,而忽略了在规模化集成过程中遇到的均一性对STDP性能的影响。本研究通过分析复杂编码神经元模型中脉冲行为来评估工艺波动下STDP训练的鲁棒性,这一研究对于构建规模化类脑计算硬件,推动类脑计算发展具有重要的现实意义。 研究内容: 在这项工作中,我们提出了一种基于Ta2O5忆阻器突触和CMOS神经元的STDP硬件实现方案。研究发现,当传统LIF神经元模型应用于大规模神经电路网络时,工艺波动引起的电路变异会导致神经元脉冲行为产生显著差异,进而造成STDP机制和脉冲神经网络的不稳定性,最终导致网络训练性能下降。 受大脑复杂动力学的启发,我们发现具有多样化动力学特征的神经元(如簇发放脉冲行为)能够有效抑制电路波动带来的负面影响。具体而言,这类复杂神经元通过双离子通道协同调控脉冲响应:在电路工艺波动时,双离子通道产生的变异方向相反,从而在宏观上维持了脉冲行为的相对稳定。动态分析表明,在快变环境下神经元通过增加簇发脉冲数量来补偿单个脉冲的短时性,而在慢变环境下则呈现相反特性。 实验结果表明,采用复杂动力学神经元的系统对电路变异表现出更强的鲁棒性。与LIF神经元相比,STDP的时间/数值波动显著降低,脉冲神经网络的分类精度和稳定性均获得明显提升。该方案不仅为神经形态硬件设计提供了稳定、统一的新思路,同时为理解大脑突触可塑性机制提供了硬件层面的新见解。 作者介绍 潘纲 教授 浙江大学 潘纲,浙江大学求是特聘教授、博导,脑机智能全国重点实验室主任,国家杰出青年基金获得者,入选国家“万人计划”科技创新领军人才,计算机系统结构与先进计算研究所所长,中国人工智能学会会士、常务理事、脑机融合与生物机器智能专委会主任委员,中国自动化学会机器人智能专业委员会副主任委员,中国神经科学学会类脑智能分会副主任委员、脑机接口与交互分会副主任委员等。主要研究方向为人工智能、脑机接口、类脑计算、计算机视觉、普适计算等。已发表学术论文200多篇,获授权发明专利60多项。获CCF-IEEE CS青年科学家奖(2016)、IEEE TCSC Award for Excellence (Middle Career Researcher, 2018),入选2016年中国高等学校十大科技进展、2020年世界互联网领先科技成果等。获两次国际会议或期刊的时间考验论文奖(Test-of-Time Paper...