ChatGPT的出现,让人工智能大模型迅速进入普通人的视野。但在经历半年多的“狂飙”后,曾经爆火的ChatGPT,流量已不再坚挺。当C端热度逐渐褪去,人们不禁开始思考,仅凭聊天、写诗、作画等功能,大模型就可以重构人类社会?人工智能的下一步该如何发展?
在中国,C端消费者可能感到ChatGPT比较新奇,但产业界应该对大模型并不陌生。早在ChatGPT出圈之前,华为就曾联合中科院、鹏城实验室等机构,打造出多个产业级大模型。普通人之所以不怎么熟悉,是因为这些大模型并不直接面向C端,而是服务于生产活动。
从以往的经验来看,先进技术比如5G的价值,并不能在C端完全体现,生产端可能有更多的应用场景。人工智能亦是如此,在被证明可用于复杂工业领域后,应该将人工智能加速应用在实体产业,为行业刚需带来实际价值,才能真正意义上大规模服务于社会。
“在华为看来,面对当前形势,既要乐观,又要保持冷静。我们认为,人工智能的发展,关键是要脚踏实地,推动人工智能走深向实,真正为千行百业服务,赋能产业升级。”
7月6日,在第六届世界人工智能大会上,华为轮值董事长胡厚崑表示,在人工智能发展的下一阶段,华为有两个着力点:第一,打造强有力的算力底座,来支撑中国人工智能产业的发展。第二,真正让人工智能服务好千行百业,服务好科研创新。
打造坚实底座,让算力不再是瓶颈
算力是人工智能发展的基础,这一点是行业共识。
也正因为此,意图围堵中国人工智能发展的美国政府,近些年不断在算力层面对中国发难,比如说对英伟达高端GPU进行出口管制,亦或是计划限制中国企业使用美国的云计算服务。
在当前的外部环境下,中国在算力的可获取性和成本方面,面临着不小的挑战。打造自主算力底座,突破算力瓶颈,成为中国人工智能产业可持续发展的关键。
作为中国科技产业领头羊,华为长期深耕算力,打造了聚焦通用计算的鲲鹏和人工智能计算的昇腾,并通过架构创新、发展生态以及共建算力等手段,来支撑自主算力底座的打造。
进入大模型时代,算力需求呈现爆炸式增长,而训练大模型的成本和计算的效率息息相关。
华为首先是通过架构创新,来提高计算效率。
在节点层面,华为革命性推出对等平构架构,突破了传统以CPU为中心的异构计算带来的性能瓶颈,提升了整个计算的带宽、降低了时延,使得节点性能提升30%。
在数据中心层面,华为推出昇腾AI集群,系统整体设计改变过去的服务器简单堆叠,把计算、存储、网络、能源、调度等整合在一起,相当于把AI数据中心打造成一台超级计算机,以实现能效的倍增。万卡规模的数据中心,10%效率提升,能节省出一个省的公共算力(400P)。
基于这些架构创新,华为还对昇腾AI集群进行了全面升级:
从最初的4千卡集群扩展8千卡集群,年底将最大支持至1万6千卡集群,成为业界首个万卡AI集群。训练1750亿参数的GPT-3模型,100B的数据量,在8千卡集群下只需1天即可完成训练收敛,1万6千卡集群下仅需半天即可完成,业界SOTA(最高)能力需10天才能完成训练;最长可实现30天以上的长稳训练,业界SOTA能力仅在3天左右,十倍领先。
中国拥有丰富的应用场景,客户的算力需求也多种多样,为了提高计算效率,华为也结合国内实际情况,采用多种模式建设算力底座。
在城市算力基础设施方面,华为支持各地政府打造人工智能计算中心,提供普惠的算力基础设施服务。当前,全国已有25个城市,如武汉、西安、上海等,基于昇腾AI建设了人工智能计算中心。
另一方面,有相当多的大型企业,有自建人工智能算力中心的诉求,华为也在帮助它们构建独立的算力中心。例如,中国移动、科大讯飞、南方电网等企业,均在规划和建设大规模的算力集群,华为也积极参与其中。
同时,市场上也有很多中小型企业,对弹性算力有旺盛的需求,华为则通过云服务的方式,在华为云上提供人工智能算力服务,让中小企业可以快速敏捷的开发和应用AI,降低人工智能的使用门槛。
充沛灵活的算力供给,让算力不再是中国AI产业发展的瓶颈。
从“读万卷书”到“行万里路”
打造坚实的算力底座,还只是万里长征第一步。要想推动人工智能“走深向实”,还要加速人工智能走向千行百业,以创造更大价值。
今年4月,华为云人工智能首席科学家田奇在博鳌亚洲论坛上提到,人工智能下一个发展机会点是AI for Industry,也就是将人工智能和各行各业深度结合,包括但不限于航天、医药、农业、工业等领域,希望能为行业创新带来新思路、新方法及新工具。
为了更好地推进AI for Industry,华为在行业内首次提出了三层大模型架构,目的是在不同层面,构建不同的能力。
在华为盘古大模型体系中,L0是基础大模型,包括NLP(中文语言)大模型、CV(视觉)大模型、科学计算大模型;L1是基础模型与行业数据结合,进行混合训练后的行业大模型,包括矿山、电力、气象、海浪等模型;L2是面向行业细分场景的模型,如金融OCR模型、电力巡检模型等。
胡厚崑演讲时指出,最底层的基础模型,做好海量基础知识的学习,相当于“读万卷书”,打好基础;在此之上,针对不同的行业,不同的场景,进行专项知识和经验的训练,打造好用、易用的行业模型和场景模型,相当于行“万里路”。
随着盘古大模型的普及,各行各业的开发者不必从零开始,只需在云上找到自己所需模型,然后针对行业场景,结合行业小数据微调即可获得满足需要的高性能高精度的AI模型。这种开发方式,将促进AI在千行百业的批量化落地应用。
但知易行难,从“读万卷书到行万里路”,还有诸多挑战需要克服。
胡厚崑认为,关键是要做好客户及行业伙伴的行业知识与大模型的匹配,解决好场景、技术、算法和数据的融合,让大模型在行业的价值创造中发挥重要作用。
截至目前,华为云盘古大模型已经深入金融、制造、政务、电力、煤矿、医疗、铁路等10多个行业,支撑400多个业务场景的AI应用落地。
“我们希望大模型不仅能用在工厂、港口、银行等行业场景,也能走进实验室和研究所,助力基础科学研究。在这个领域,大模型大有用武之地。”胡厚崑接着说道。
与AI for Industry一样,AI for Science(AI4S)同样是AI“走深向实”的关键路径。
借助人工智能的巨大技术优势,“AI for Science”可将数学计算和科学模型的方法结合,高效处理海量数据,使传统的科研过程变得自动化、规模化、并行化和平台化,从而解决原来传统科学研究范式无法解决的问题,帮助科学家突破科研瓶颈。
举例来说,流体力学计算中会消耗大量的算力,这个过程其实数学原理很简单,就是一个纳维-斯托克斯方程的求解。在传统过程中,如果用CPU单卡进行计算,可能需要几十年、上百年都算不完,而用AI的方式就有可能10倍或者100倍地加速纳维-斯托克斯的求解。
再比如,在气象预报领域,华为盘古气象大模型的预测可以在秒级时间内,完成未来全球一个小时到7天的天气预报。这其中有几个关键点,一是大模型要充分学习全球40年的气象数据,即“读万卷书”;二是在此基础上,再到行业中去训练,即“行万里路”。
就在日前,国际顶级学术期刊《自然》(Nature)杂志正刊发表了华为云盘古大模型研发团队研究成果——《三维神经网络用于精准中期全球天气预报》。
数据显示,这是近年来中国科技公司首篇作为唯一署名单位发表的《自然》正刊论文。《自然》审稿人对该成果给予高度评价:“华为云盘古气象大模型让人们重新审视气象预报模型的未来,模型的开放将推动该领域的发展。”
华为云盘古气象大模型也是首个精度超过传统数值预报方法的AI模型,速度相比传统数值预报提速10000倍以上。与盘古气象大模型类似的科学计算模型,还有盘古药物分子大模型和盘古海浪大模型等等。
研究机构Omdia分析师认为,“AI for Science”在气候和环境科学(天气预测等),生物制药和生命科学(新药研发、蛋白质结构预测等),流体力学(汽车或飞机的气动设计等),电磁学(电磁仿真等)等应用领域会率先取得突破。
坚持开放协作,共建产业生态
一花独放不是春,百花齐放春满园。
对于人工智能产业的可持续发展来说,生态建设尤其重要。华为也一直秉持产业生态共建的理念,坚持“硬件开放、软件开源、使能伙伴、发展人才”的战略。四年以来,在全产业合作伙伴的共同努力下,已初步构建起完整的人工智能计算产业生态。
昇腾AI基础软硬件平台,包括昇腾AI集群系列硬件、异构计算架构CANN、全场景AI框架昇思MindSpore、昇腾应用使能MindX以及一站式开发平台ModelArts等。
在硬件方面,华为坚持进一步开放,今年推出更多样化的模组和板卡,30多家硬件伙伴基于昇腾AI,推出了上百款人工智能硬件产品,以满足不同行业场景差异化的需求。
在软件方面,华为坚持通过开源来做强基础软件,特别是面向当前大模型的创新,构建了从规划、开发到产业化的大模型全流程使能体系,支撑科研机构和企业客户,原生孵化了20多个基础大模型,同时适配了10多个业界主流的大模型。
“我们非常自豪,当前中国大模型中有一半是由昇腾AI来支撑的。”胡厚崑说道。
比如,基于昇腾AI开发的“东方.翼风”大模型,入围了本届世界人工智能大会最高奖项—SAIL奖,这一大模型融合了AI+通用计算的能力,实现了三维超临界机翼流体仿真,能够对大飞机全场景飞行状况,实现快速高精度的模拟,用时仅为原来的千分之一。这一革命性的突破,也将在气动领域,加速国计民生行业跨越式创新。
在7月6日下午的昇腾人工智能产业高峰论坛现场,华为还协同20多家大模型研发单位共同启动基于昇腾AI的大模型创新仪式,加速各方大模型的研发和应用创新。同时,华为还联合伙伴发布昇腾AI大模型训推一体化解决方案,解决大模型开发及应用成本高、周期长、技术难度大等行业痛点,推进大模型在各行业落地应用。
论坛上,中国科学技术信息研究所发布了AI4S科研创新地图。昇腾AI围绕AI4S基础软件能力,提供基础算力底座,支撑国家实验室、公共算力服务平台等建设自主算力,提供国产化框架、加速库、套件、工具链等,使能AI4S生态发展。
“我们非常有幸,共同见证了科技革命的几次浪潮,从互联网,到移动化,从云计算,到智能化,每一轮变革都带来了深远的影响。毫无疑问,通用人工智能(AGI)正在开创下一个黄金十年,让我们携起手来,服务好千行百业,服务好科研创新,共赢人工智能新时代。”胡厚崑在演讲最后呼吁道。