NCE编辑优选：模拟存内学习的困难及解决途径
文章介绍
Wei Wang（王伟）, Yang Li（李阳）and Ming Wang（王明）
通讯作者：
- 王伟，鹏城实验室
研究背景：
忆阻器交叉阵列是模拟存内计算的核心。利用欧姆定律和基尔霍夫电流定律，忆阻器阵列可以一步实现神经网络中的向量矩阵乘积运算，提高神经网络推理的计算效能。如何在忆阻器阵列中实现神经网络的训练，即模拟存内学习，完全摆脱对冯诺依曼体系的依赖，是需要进一步探究的课题。本文主要阐述实现模拟存内学习的困难和解决路径。
研究内容：
图1 存内计算与存内学习对比
误差反向传播是深度神经网络训练必需的核心步骤之一，但是面临着权重转置（weight transportation）问题。在全连接层中，权重转置的实现较为简单。但是，在卷积层等复杂网络层中，权重转置需要较复杂的操作，正向信息传递和反向误差传播无法采用相同的忆阻器阵列完成。反馈对齐算法（feedback alignment）是解决权重转置问题较好的方案，但是如何适配忆阻器阵列还需要研究人员的进一步探索。
图2 存内计算与存内学习对比
在模拟存内计算系统中，权重的更新是通过忆阻器电导的调节完成的。但是，忆阻器作为人工突触，与生物突触类似，有较强的非线性和波动性。单个电学激励无法实现精准的权重（电导）调节，严重影响神经网络训练效果。可以在每次调节单个忆阻器电导时采用闭环循环写验证（closed-loop read-write-and-verify）完成权重更新。但这样会造成权重更新过程异常复杂，学习效率较低。一个重要的研究方向是采用梯度积累并周期性写入的方法，从而通过稀疏性的写入操作实现高效在线学习，并降低模拟存内学习对忆阻器“理想”特性的需求。
作者介绍
王伟 副研究员
鹏城实验室
- 王伟，博士，鹏城实验室副研究员，入选国家级海外高层次人才计划青年人才项目，深圳市孔雀计划特聘岗位(2023-2025)，鹏城实验室/南方科技大学博士生导师。2011年7月毕业于南开大学，获理学学士学位；2016年7月，毕业于中国科学院微电子所，获工学博士学位。2017年1月-2022年1月，先后于意大利米兰理工大学、以色列理工大学做博士后研究。研究方向包括新型存储器、存内计算、半导体器件模型等。
期刊介绍
- 2023年影响因子：5.8 Citescore: 5.9
- Neuromorphic Computing and Engineering（NCE）是一本涵盖多个学科领域、采用开放获取（OA）形式出版的期刊。NCE期刊将神经形态系统的硬件和计算方面结合在一起，读者群覆盖工程、材料科学、物理、化学、生物学、神经科学和计算机科学等领域，跨越学术界和产业界的各个群体。在NCE期刊上发表的研究需针对神经形态系统和人工神经网络领域做出及时而重要的贡献。