作者 | 曾响铃
文 | 响铃说
作为IT行业的“明珠”,极“硬核”的高性能计算不如云计算、AI、物联网技术备受关注。但不可忽视的是,近年来,高性能计算正在从高精尖科研加速迈向千行百业,成为推动数字经济发展的新引擎。在近日举办的2022全国高性能计算学术年会(CCF HPC China 2022)上,我们可以看到,华为等企业除了提供综合化技术支撑外,正在通过生态共建的方式推动HPC发展,以促进产业共同繁荣,把握新机遇。
HPC发展已进入新阶段
一方面,环境科学、生命科学、材料科学、能源、制造……所有追求快、多、准计算的领域,都更加迫切地需要HPC,也提出了更高的要求。另一方面,发展HPC所需要的各项条件在中国计算机学会、高校、企业等产学研单位的推动下持续累积,并形成正循环。
从华为发表的《共筑算力新生态 赋能数字新未来》主题演讲中,可以看到其中几个具体的发展方向:
向更高效率、多样性的计算架构演进,例如,当前ARM指令集兼容的HPC,如鲲鹏HPC生态已完备,已成为气象行业主要选择之一,超融合以太网络面向AI训练场景量身打造NSLB网络级负载均衡,释放AI算力。
强大的、跨区域的算力网络正在形成,如今各地数据中心、计算中心的新基建如火如荼,并且逐渐连成网络。
更加注重软件技术及生态构建,目前以openEuler操作系统等为代表的基础软件生态正在快速发展。
更加需要产业力量来实现价值闭环,以武汉高性能计算联盟、全球计算联盟为代表的产业组织,应用联合创新、学术界和产业界课题合作等一直在推进。
HPC发展正在进入新阶段,新时代的集结号已经吹响。
技术创新打造底层源动力,共建生态推动产业新发展
有底层技术,有伙伴的共同努力,才有HPC在产业的持续繁荣。
华为在主题演讲中提出了三位一体的HPC发展战略,也即筑牢底座、共建生态、繁荣产业。
首先,要构筑未来数字化应用的坚实HPC算力底座。
相对于其他任何技术领域,HPC都要更考验综合化的力量。
这方面,华为基于鲲鹏全栈打造的高性能计算解决方案,涵盖硬件使能、基础软件、应用优化等层次能力,全面囊括了HPC的各项要素需求。
在最基础的硬件层,面向多样性计算趋势,方案提供全场景液冷整机柜硬件平台天成集群硬件,功率密度相比传统风冷机架提升了8倍,PUE小于1.15,充分释放集群硬件性能,也兼顾系统能效比。
针对数据密集型高性能计算存储需求,打造HPDA解决方案,支持大规模并发、实时分析、跨地域/跨集群数据共享与流动。方案核心组成——数据加速引擎DataTurbo能联接应用与存储,提升50% HPDA数据处理效率,使数据调度效率提升3倍。
在网络方面,华为推出超融合以太技术,实现计算、存储、业务三网融合,根据业务进行动态调度和差异化保障,实现算力有效释放。还面向AI训练场景量身打造超融合以太NSLB网络均衡技术,实现AI训练场景下整网流量100%的均衡度和AI训练性能提升,更有DPFF故障无感自愈技术使得业务层面对故障无感知,提升高性能计算和存储的计算效率。
在软件方面,华为构建了完整的高性能计算基础软件栈,不仅包含了openEuler操作系统、毕昇编译器、鲲鹏数学库及Hyper MPI通信库等一系列基础软件,同时还包含了面向管理员的多瑙集群管理套件以及面向开发者的Devkit鲲鹏开发套件。
面对应用侧需求,华为投入了大量的领域专家和用户进行对接,更加关注直接影响应用性能的实际技术指标和计算中心的有效算力,通过全栈设计与优化,打造HPC最优应用性能。
再有,是汇聚生态的力量。高性能计算技术尖深和复杂,意味着构建新生态是一次极限探索。牢固底座只是第一步,构建应用软件生态更为关键,而这必须依靠产业伙伴的共同努力。
华为通过开源的模式,丰富和完善基础软件体系。一方面主动开源自身产品能力,涵盖欧拉操作系统、毕昇编译器、鲲鹏数学库等HPC基础软件,另一方面持续贡献HPC开源社区,共同建设ARM CI(持续集成)平台,使能开源软件源头支持多样性算力。得益于对开源的持续投入,华为HPC已在气象环境、生命科学、制造仿真等关键行业实现广泛应用,支持80%核心场景。
人才是引领生态发展的核心力量之一,华为推出多项计划,包括鲲鹏展翅伙伴计划、鲲鹏众智计划、鲲鹏科研创新使能计划等,赋能产业伙伴。同时把相关的知识和经验,整合为培训课程,编撰成高校教材,培养专业人才,不断发展和完善HPC的技术生态,构筑HPC人才根基。
产业共繁荣,开创数字经济发展新未来
本次2022全国高性能计算学术年会上,华为也分享了其HPC产业建设的进展和思考,其中包括积极参与GCC开放标准联盟、武汉高性能计算产业联盟等产业组织和平台的建设,形成生态合力,加速高性能计算的产业链构建和产业全球化发展;通过设立高性能计算青年创新基金、向业界发布产业课题等方式,携手产业伙伴共同探索和突破产业难题,呼吁加速与学术界的融合,促进科研成果产业落地;联合CCF以及其他产业伙伴共同合作发布产业白皮书,旨在形成对于HPC技术和生态的共识,助力共同繁荣高性能计算产业。
可预见的是,随着算力底座的持续夯实、算力生态的稳步发展、产业力量的不断汇聚,高性能计算这颗“明珠”将闪亮出更璀璨的光芒,点亮数字化新未来。