NCE编辑优选：突破工艺波动限制：簇编码神经元实现鲁棒训练
文章介绍
Yize Liu（刘毅泽）, Jiayi Zhao（赵家艺）, Yu Xiao（肖宇）, Peng Chen（陈鹏）, Haisong Chen（陈海松）, Enhui He（何恩慧）, Peng Lin（林芃） and Gang Pan（潘纲）
通讯作者：
- 潘纲，浙江大学
- 林芃，浙江大学
- 陈鹏，浙江大学
研究背景：
尖峰时间依赖性可塑性（STDP）作为生物突触的经典学习机制，被认为参与了生物大脑中广泛的学习和记忆过程。STDP功能也被认为是神经拟态计算中可被借鉴的网络无监督训练方法。相较于纯软件实现，神经形态器件及电路可以更高效的实现STDP训练。然而，STDP机制的有效性高度依赖于突触前后神经脉冲的精确时序匹配，模拟电路中固有的电路及器件差异会导致脉冲信号产生显著失真，进而严重影响学习性能，甚至让该功能在规模化集成电路中彻底失效。现有研究中，研究者们大多聚焦在如何通过不同材料与器件机制实现STDP功能，而忽略了在规模化集成过程中遇到的均一性对STDP性能的影响。本研究通过分析复杂编码神经元模型中脉冲行为来评估工艺波动下STDP训练的鲁棒性，这一研究对于构建规模化类脑计算硬件，推动类脑计算发展具有重要的现实意义。
研究内容：
在这项工作中，我们提出了一种基于Ta2O5忆阻器突触和CMOS神经元的STDP硬件实现方案。研究发现，当传统LIF神经元模型应用于大规模神经电路网络时，工艺波动引起的电路变异会导致神经元脉冲行为产生显著差异，进而造成STDP机制和脉冲神经网络的不稳定性，最终导致网络训练性能下降。
受大脑复杂动力学的启发，我们发现具有多样化动力学特征的神经元（如簇发放脉冲行为）能够有效抑制电路波动带来的负面影响。具体而言，这类复杂神经元通过双离子通道协同调控脉冲响应：在电路工艺波动时，双离子通道产生的变异方向相反，从而在宏观上维持了脉冲行为的相对稳定。动态分析表明，在快变环境下神经元通过增加簇发脉冲数量来补偿单个脉冲的短时性，而在慢变环境下则呈现相反特性。
实验结果表明，采用复杂动力学神经元的系统对电路变异表现出更强的鲁棒性。与LIF神经元相比，STDP的时间/数值波动显著降低，脉冲神经网络的分类精度和稳定性均获得明显提升。该方案不仅为神经形态硬件设计提供了稳定、统一的新思路，同时为理解大脑突触可塑性机制提供了硬件层面的新见解。
作者介绍
潘纲 教授
浙江大学
- 潘纲，浙江大学求是特聘教授、博导，脑机智能全国重点实验室主任，国家杰出青年基金获得者，入选国家“万人计划”科技创新领军人才，计算机系统结构与先进计算研究所所长，中国人工智能学会会士、常务理事、脑机融合与生物机器智能专委会主任委员，中国自动化学会机器人智能专业委员会副主任委员，中国神经科学学会类脑智能分会副主任委员、脑机接口与交互分会副主任委员等。主要研究方向为人工智能、脑机接口、类脑计算、计算机视觉、普适计算等。已发表学术论文200多篇，获授权发明专利60多项。获CCF-IEEE CS青年科学家奖(2016)、IEEE TCSC Award for Excellence (Middle Career Researcher, 2018)，入选2016年中国高等学校十大科技进展、2020年世界互联网领先科技成果等。获两次国际会议或期刊的时间考验论文奖（Test-of-Time Paper Award），指导学生获CCF-A类国际会议的最佳论文奖、最佳论文提名奖多次。目前担任IEEE Trans. Neural Networks and Learning Systems、Cognitive Neurodynamics等多个国际期刊编委。
林芃 研究员
浙江大学
- 林芃，浙江大学 “百人计划”研究员，入选国家高层次青年人才引才计划，美国麻萨诸塞大学博士、麻省理工学院博士后，长期从事新型类脑计算系统研究，近年来在Nature Electronics, Nature Nanotechnology等权威期刊和会议发表论文60余篇，包括多篇Nature子刊封面论文，担任中国人工智能学会脑机融合与生物机器智能专委会委员。
陈鹏 研究员
浙江大学
- 陈鹏，浙江大学脑机智能全国重点实验室研究员，博士毕业于西安交通大学。主要研究方向为新型类脑计算硬件、存算一体芯片与系统，近年来在Nature子刊等重要学术期刊上发表论文二十余篇。
期刊介绍
- 2024年影响因子：6.1 Citescore: 9.2
- Neuromorphic Computing and Engineering（NCE）是一本涵盖多个学科领域、采用开放获取（OA）形式出版的期刊。NCE期刊将神经形态系统的硬件和计算方面结合在一起，读者群覆盖工程、材料科学、物理、化学、生物学、神经科学和计算机科学等领域，跨越学术界和产业界的各个群体。在NCE期刊上发表的研究需针对神经形态系统和人工神经网络领域做出及时而重要的贡献。