EST编辑优选:大规模平面波线性响应含时密度泛函理论的混合MPI和OpenMP并行计算实现

11 10月 2021 gabriels
本篇研究来自中国科学技术大学胡伟研究员和杨金龙教授课题组。研究通过采用信息传递接口(MPI)与开放式多进程(OpenMP)结合的二级并行计算策略,将复杂度超高的计算成本和内存消耗进行合理调配,使得复杂的平面波线性响应密度泛函(LR-TDDFT)激发态电子结构模拟计算可以在现代异构超级计算机上扩展到数万个处理核心,使其能用于模拟数千原子体系的激发态电子结构性质。


文章介绍

Hybrid MPI and OpenMP parallel implementation of large-scale linear-response time-dependent density functional theory with plane-wave basis set

万凌云,刘小峰,刘杰,秦新明

通讯作者:

■ 胡伟  合肥微尺度物质科学国家实验室,中国科学技术大学

■ 杨金龙  合肥微尺度物质科学国家实验室,中国科学技术大学

 

研究内容:本文首先对计算过程中出现的所有矩阵大小和相应的计算复杂度进行了计算和估计,在复杂度相对较小的情况下确定计算的基本流程。

图1 LR-TDDFT方法并行实现流程图

然后对于LR-TDDFT的具体并行采用信息传递接口(MPI)与开放式多进程(OpenMP)结合的二级并行策略来处理哈密顿矩阵的构造和对角化,其中MPI并行编程处理数据在不同进程之间的通信,并利用多线程共享内存OpenMP 并行编程处理矩阵运算。

图2 LR-TDDFT 计算中的数据模式和OpenMP布局

理论方法:我们采用信息传递接口(MPI)与开放式多进程(OpenMP)结合的二级并行策略来处理哈密顿矩阵的构造和对角化,并对其中的矩阵操作和数据通信进行了负载的平衡。

研究结果与意义:我们的工作提供了数值证据,证明第一性原理激发态计算可以在现代异构超级计算机上扩展到 24,576 个处理核心来研究包含数千个原子的半导体系统的激发态特性 (4,096原子)。这种对大规模系统的激发态响应性质进行准确有效预测的方法可能会在半导体材料科学和光催化领域得到一些新的结果。

图3:LRTDDFT的并行强扩展性能

图4:LRTDDFT的并行弱扩展性能

研究背景

在现代材料的计算模拟中,激发态的计算模拟占据了越来越重要的地位,但是第一性原理激发态计算以其高精度和算法复杂著称,长期以来,其计算的空间尺度和时间尺度受算法和算力限制,数千个原子系统的激发态性质模拟仍然是一个具有挑战性的任务。同时近年来,现代异构超级计算机的快速发展

使得高性能计算 (HPC) 作为一种强大的工具来加速大规模系统的 KS-DFT 计算,将大规模并行计算技术应用到激发态计算中,使得大规模系统的激发态计算成为可能。

基于以上事实,基于局域原子基组的大规模激发态电子结构计算在NWChem、QChem 和 ONETEP等软件中都有相应的实现。但是标准平面波基组的情况始终没有突破,这使得包含数千原子的大规模周期系统的激发态计算存在一定的问题。

我们通过MPI与OpenMP结合的二级并行计算策略,将复杂度超高的计算成本和内存消耗进行合理调配,在自主开发的平面波密度泛函理论软件PWDFT,实现了大规模线性响应密度泛函LR-TDDFT激发态电子结构模拟计算,并行规模可以在现代异构超级计算机上扩展到24,576核,计算体系高达4,096原子,使其能用于模拟大规模体系的激发态电子结构性质。


作者介绍

胡伟 研究员

中国科学技术大学合肥微尺度物质科学国家研究中心

● 胡伟,中国科学技术大学合肥微尺度物质科学国家研究中心,特任研究员,博士生导师。

胡伟研究员致力于发展大规模密度泛函理论计算方法的开发与应用,与数学、物理、计算机理论学家和化学实验学家展开了广泛地合作,包括提出基于密度泛函理论的新理论算法(ISDF,ACE和PCDIIS),开发高性能并行计算软件(HONPAS,KSSOLV,PWDFT和DGDFT),并应用于多功能材料设计(太阳能电池、光解水制氢光催化剂、场效应管、肖特基二极管和PN结)和催化化学(光催化、表面催化和气体传感器)等领域。

杨金龙 教授

中国科学技术大学

● 杨金龙,中国科学技术大学教授,博士生导师,中国科学院院士。

主要研究领域为理论和计算化学,一直致力于发展与应用第一性原理计算方法与模型,研究小分子,原子团簇,固体表面与界面和纳米体系的结构和性质,注重和相关实验研究的配合与合作。已发表学术研究论文五百余篇,论文被引用二万余次。获得国家杰出青年科学基金资助,受聘教育部“长江学者奖励计划”特聘教授, 担任基金委创新群体负责人和国家重点研发计划项目首席科学家。应邀担任The Journal of Physical Chemistry、WIREs Computational Molecular Science和物理化学学报的副主编,Theoretical Chemistry Accounts、中国科学和化学物理学报的编委。入选美国物理学会(APS)的Fellow。


期刊介绍

Electronic Structure

● Electronic Structure(EST))是一本新发表的多学科期刊,覆盖电子结构研究的理论和实验工作,包括新方法的开发。EST是第一本致力于服务电子结构领域的期刊,涵盖材料学、物理学、化学和生物学。除了原创性研究外,EST还发表专题综述、专刊和技术笔记。