PRGE编辑优选:助力“双碳”目标实现-强化学习在新型电力系统规划与运行控制中的应用

03 4月 2023 gabriels
本篇研究来自浙江大学海宁国际校区刁瑞盛课题组。本文首先对强化学习(RL)进行了全面的、系统化的概述,包括RL的基本概念和最新的RL算法,以及RL的新发展在新型电力系统领域的潜在应用场景。其次,介绍了RL在电力系统规划和运行中的三种典型应用场景,包括设备级控制、系统级控制和需求侧管理,分析了RL在各个场景中应用的基本思路、优势和主要难点。


文章介绍

Application of Reinforcement Learning in Planning and Operation of New Power System Towards Carbon Peaking and Neutrality

Fangyuan Sun, Zhiwei Wang, Junhui Huang, Ruisheng Diao(刁瑞盛), Yingru Zhao and Tu Lan

通讯作者:

  • 刁瑞盛,浙江大学海宁国际校区

 

本文首先对基于高精度仿真的强化学习算法进行了全面概述,以训练高效精准的决策智能体,实现无模型决策;具体包括马尔可夫决策过程、强化学习基本概念、以及与电力系统规划控制特性强相关的强化学习算法新发展,即安全强化学习(safe RL)与多智能体强化学习。其次,分析强化学习在电力系统领域的三个重要应用场景,包括设备级控制、系统级优化控制和需求侧管理,研究趋势如下所示:

图1 电力系统领域5个高影响因子期刊发表强化学习应用相关的论文数量统计(2022年仅统计了前9个月)

本文详细阐述了不同应用场景下智能体建模和训练详细步骤;进一步、论述了强化学习的无模型、数据驱动和高适应性特征,在处理新型电力系统规划和运行中高复杂性问题的优势,比如在储能控制和智能负荷管理等场景中,设备模型具有很强的非线性和时变特性,这对传统的优化方法是一个挑战;通过设计基于强化学习的智能体训练过程,可以达到超过传统方法的性能。最后,探讨了实现可再生能源充分消纳、大规模资源优化配置、电力可靠供应、电网安全经济运行等目标的未来研究方向,以及强化学习在新型电力系统应用过程中存在的样本需求量大、鲁棒性及可解释性缺陷等问题。


作者介绍

刁瑞盛 副教授

浙江大学海宁国际校区

  • 刁瑞盛博士,现任浙江大学海宁国际校区长聘副教授、研究员、博士生导师、新能源电力系统仿真与智能控制研发中心主任,长期从事电力系统高精度建模、稳定性仿真计算、可再生能源接入、高性能计算、人工智能应用等研究工作。牵头并参与美国能源部、国家电网公司科技项目30多个(总经费约$3000万美元),共发表论文107篇,申请发明专利23项。

期刊介绍

Progress in Energy

  • Progress in Energy(PRGE,能源进展)是一本全新的多学科期刊,发表能源研究领域中高质量的权威综述和观点。PRGE发表的内容包括:能源材料;储能;能源科学与工程;节能;能效;能源系统;能源与运输;能源基础设施;能源电网和网络;能源接入和安全;可持续和可再生能源;环境和资源;能源政策;能源经济学等。