“‘鹏城云脑’是一部‘百科全书’。”5月21日,鹏城实验室主任、中国工程院院士高文在大湾区科学论坛上表示,“鹏城云脑”具有世界先进的算力性能,将面向全社会为大模型训练提供算力底座。
高文解释,大模型的核心,第一要有巨大的算力,算力不够无法做大规模训练;第二要有海量的数据,数据不够难以总结出规律;第三要有好的算法,这样才可以在尽可能短的时间里完成训练。ChatGPT背后,就有微软支持的拥有上万块A100芯片的算力服务器支持。他透露,由鹏城实验室研发的“鹏城云脑II”搭载了4000块A100芯片,运行至今已有两年半时间,既可以做理论研究,也可以做核心技术应用,可以为大模型训练提供有力的算力支持。
鹏城实验室是中央批准成立的突破型、引领型、平台型一体化的网络通信领域新型科研机构。作为国家战略科技力量的重要组成部分,实验室聚焦宽带通信、新型网络、网络智能等国家重大战略任务以及粤港澳大湾区、中国特色社会主义先行示范区建设的长远目标与重大需求,开展领域内战略性、前瞻性、基础性重大科学问题和关键核心技术研究。“鹏城云脑”即是其重要的研发项目。