PRGE编辑优选：助力“双碳”目标实现-强化学习在新型电力系统规划与运行控制中的应用
文章介绍
Fangyuan Sun, Zhiwei Wang, Junhui Huang, Ruisheng Diao(刁瑞盛), Yingru Zhao and Tu Lan
通讯作者：
- 刁瑞盛，浙江大学海宁国际校区
本文首先对基于高精度仿真的强化学习算法进行了全面概述，以训练高效精准的决策智能体，实现无模型决策；具体包括马尔可夫决策过程、强化学习基本概念、以及与电力系统规划控制特性强相关的强化学习算法新发展，即安全强化学习（safe RL）与多智能体强化学习。其次，分析强化学习在电力系统领域的三个重要应用场景，包括设备级控制、系统级优化控制和需求侧管理，研究趋势如下所示：
图1 电力系统领域5个高影响因子期刊发表强化学习应用相关的论文数量统计(2022年仅统计了前9个月)
本文详细阐述了不同应用场景下智能体建模和训练详细步骤；进一步、论述了强化学习的无模型、数据驱动和高适应性特征，在处理新型电力系统规划和运行中高复杂性问题的优势，比如在储能控制和智能负荷管理等场景中，设备模型具有很强的非线性和时变特性，这对传统的优化方法是一个挑战；通过设计基于强化学习的智能体训练过程，可以达到超过传统方法的性能。最后，探讨了实现可再生能源充分消纳、大规模资源优化配置、电力可靠供应、电网安全经济运行等目标的未来研究方向，以及强化学习在新型电力系统应用过程中存在的样本需求量大、鲁棒性及可解释性缺陷等问题。
作者介绍
刁瑞盛 副教授
浙江大学海宁国际校区
- 刁瑞盛博士，现任浙江大学海宁国际校区长聘副教授、研究员、博士生导师、新能源电力系统仿真与智能控制研发中心主任，长期从事电力系统高精度建模、稳定性仿真计算、可再生能源接入、高性能计算、人工智能应用等研究工作。牵头并参与美国能源部、国家电网公司科技项目30多个（总经费约$3000万美元），共发表论文107篇，申请发明专利23项。
期刊介绍
- Progress in Energy（PRGE，能源进展）是一本全新的多学科期刊，发表能源研究领域中高质量的权威综述和观点。PRGE发表的内容包括：能源材料；储能；能源科学与工程；节能；能效；能源系统；能源与运输；能源基础设施；能源电网和网络；能源接入和安全；可持续和可再生能源；环境和资源；能源政策；能源经济学等。