算力就是生产力,得算力者得天下。
某种意义上,智能化时代,算力如同农业时代的水利、工业时代的电力,不仅是经济社会发展的“基石”,还是技术创新的“高地”。
随着5G、AIoT、智能汽车、云计算、大数据等新兴行业以及新一代人工智能技术的快速发展和突破,数据量正以难以计量的速度爆发,不断衍生新的计算需求。
据IDC公布的《数据时代2025》显示,从2016年到2025年全球总数据量将会增长10倍,达到163ZB。面对如此庞大的数据量,模型计算将变得更加复杂,对算力的需求也在不断提高。
与此同时,ChatGPT、文心一言等应用的出圈走红,为AIGC打开了全新的市场增量,催生了新一轮对AI算力的狂热需求。
据OpenAI相关论文透露,ChatGPT的总算力消耗约为3640PFdays(即假设每秒计算一千万亿次,需要计算3640天),需要7-8个投资规模30亿、算力500P的数据中心支撑运行。
目前AI算力已进入大模型时代,大模型的实现更需要强大的算力来支撑训练和推理过程。OpenAI测算,自2012年以来,全球头部AI模型训练算力需求3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍。
事实上,近年来AI技术正逐渐渗透于生活的方方面面,从人脸识别、智能语音,到自动驾驶、工业数字孪生,看得见的智慧应用背后,是看不见的智能算力在支撑。智能算力正不断为人工智能夯实“算力底座”,推动各类融合应用竞相涌现。
未来,AI技术将加速渗透到云、边、端和应用的各个层面,进而打开市场对AI算力的需求和想象空间。
新一轮的算力革命,正在加速启动。
算力革命下,NPU迎来发展新契机
在算力机遇之下,AI芯片正乘风起航。
所有落地AI应用中,都需要硬件的算力支持。据IDC数据显示,全球对于AI芯片的需求逐步提升,预计2025年可达726亿美元,2020-2025年年复合增长率高达48.4%。
从广义上来讲,在人工智能应用中能实现AI加速的芯片都可以被称为AI芯片,而其中用来提高AI算法运行效率的模块被称为NPU(Neural-network Processing Unit,神经网络处理器),是一类基于DSA架构技术的专用于人工智能硬件加速的微处理器。
相较于CPU擅长处理任务和发号施令,GPU擅长进行图像处理、并行计算,NPU更擅长处理人工智能任务,特别是人工神经网络、机器视觉、机器学习等领域。NPU通过突触权重实现存储和计算一体化,从而提高运行效率。
AI算力的提升,离不开NPU的支持。
因此,可以在很多支持AI应用的处理器或SoC中发现NPU的身影,比如苹果的A15、特斯拉的FSD芯片、地平线的征程系列芯片、OPPO的马里亚纳X芯片等等。除了这些规模较大,性能较高的SoC芯片,其实现在有些MCU产品也开始集成NPU模块,以满足一些边缘智能应用的需求。
实际上,很多支持AI的SoC芯片都是通过集成神经网络IP来实现的,一般来说,神经网络IP会与神经网络算法同步发展,能够进一步扩展,以应对神经网络性能日益增长的需求。
自研之路稳步推进,安谋科技赋能NPU产业再升级
万物智联时代,NPU成为AI算力需求“刚需”,NPU市场群雄逐鹿。寒武纪、华为昇腾、百度昆仑、高通、地平线等公司纷纷入场,NPU在各行各业的应用越来越广泛。
契机之下,挑战尚存。很多厂商都在追逐NPU的算力来解决上述一系列复杂问题,但随着算力要求的提高,智能计算的多元化场景对NPU的算法效能、易部署性、算力扩展等方面提出了新的要求,芯片厂商正在通过不断研发和升级新的芯片产品来应对挑战。
与之对应的是,作为IP解决方案的提供者,站在产业链最上游的安谋科技,近年来其自研产品技术的进展受到了越来越多的行业关注度。
安谋科技正在通过实际行动积极拥抱行业变革,自成立以来,安谋科技一直致力于研发符合“全球标准、本土创新”的核心计算力IP产品和解决方案,并取得了有目共睹的成绩,其自研异构计算产品矩阵正日趋完善。
3月28日,安谋科技举办自研新品发布会,强调继续坚持自研IP和Arm IP业务并重的路线,并介绍了其自研IP方面的最新成果——新一代人工智能处理器“周易”X2 NPU。据安谋科技产品总监杨磊介绍,“周易”X2 NPU基于第三代“周易”架构,提供更高的算力,可以多个集群(Cluster)并联堆叠,最高支持320TOPS算力子系统。同时,它还具备实时的硬件任务管理,可实现最高千万次/秒的任务调度,能够充分发挥硬件计算效率。
算力大幅提升的同时,“周易”X2 NPU还支持更高的精度和灵活性。精度方面支持int4/int8/int12/int16/int32,fp16/bf16/fp32等多种数据精度融合计算;灵活性方面,“周易”NPU可以支持客户的自定义算子,满足各种模型部署的需求,支持定制差异化的AI解决方案,能够满足智能驾驶、手机影像AI处理、人机交互等场景的差异化需求。
“周易”X2 NPU主要功能升级
应用场景方面,“周易”X2 NPU针对ADAS、智能座舱、平板电脑、台式机和手机等应用场景做了大量性能优化,进一步提升这些场景下的计算效率,满足包括4K高分辨率在内的多种分辨率和多路图像融合计算的需求。
为使开发者可以方便、快速地进行算法移植和调试,从第一代“周易”NPU推出开始,“周易”NPU就提供了一套完整的人工智能软件方案,通过丰富的AI软件权限和兼容性能够支持各种智能终端,可以更好地满足开发者对性能调优、系统部署的需求。据安谋科技NPU研发高级总监孙锦鸿介绍,公司的研发团队在软件方面下了很多功夫,如软件的易用性、部署难度、可迁移性等,针对编程性问题,多核调度、硬件加速调度器(TSM)等方面都做了很多研究和不同设计。
“周易”Compass软件平台
基于“周易”X2 NPU的上述优势,安谋科技能够帮助合作伙伴方便快捷地在各种应用上部署AI,赋能产业发展与升级。
安谋科技透露称目前“周易”X2 NPU已经交付给客户,预计今年便会有多款搭载“周易”X2 NPU的芯片产品面世。
随着“周易”X2 NPU的推出以及其自研异构产品矩阵的不断完善,安谋科技独立运营的基础也进一步得到夯实。
汽车赛道变革前夜,安谋科技落子研发率先布局
所有落地AI应用中,都需要硬件的算力支持,其中,汽车市场是当前最炙手可热的竞逐赛道之一。
随着汽车“新四化”浪潮不断加速,推动汽车行业转型升级,智能汽车的设计架构正在从传统分布式ECU架构向域控制器的集中式架构演进。
安谋科技执行副总裁、产品研发负责人刘澍对此也指出,随着中国汽车的巨大市场和强劲增势,以及汽车在演进过程中对于高算力、高精度、实时性和安全性要求的不断提高,智能汽车的创新开始围绕着安全、可靠、场景等方面展开,芯片算力成为变革的关键因素之一。
汽车市场高算力需求明显
在此趋势下,产业链厂商相继入局,汽车芯片赛道竞争加剧。而IP作为芯片设计的“原材料”,对汽车电子的产业升级起着至关重要的底层支撑作用。
据半导体行业观察了解,安谋科技早已开始布局汽车市场,并于2022年7月推出了车规级嵌入式处理器“星辰”STAR-MC2,以及通过打造面向智能汽车的高性能融合计算芯片IP平台,加速推动国产智能汽车芯片产品的快速落地,以及产业上下游生态的协同构建。
安谋科技此次最新发布的“周易”X2 NPU定位为高性能NPU产品线,主要面向大算力需求,瞄准的也主要是蓬勃兴起的智能汽车市场,具有大算力、高精度,能够节省带宽和提高计算效能等多方面优势。
以汽车图像处理为例,随着图像分辨率从720P向4K演进,从单路图像到多路图像融合分析,对AI算力的需求成倍提升。为此,“周易”X2 NPU针对ADAS、智能座舱等应用场景做了大量性能优化,包括大幅提升汽车高分辨率图像处理能力,以及针对在汽车领域大量采用的Transformer AI模型架构,进行了专门的性能优化,Transformer结构优化后,在算力相同的情况下,可比上一代的产品性能提升10倍。同时,为了让智能驾驶更加高效,安谋科技借助i-Tiling技术让“周易”X2 NPU大幅减少带宽需求,从而令计算游刃有余。
i-Tiling技术方案
产品性能提升和技术突破背后,是研发团队自研实力和持续努力的直接体现。安谋科技NPU研发高级总监孙锦鸿对半导体行业观察表示,安谋科技NPU团队大概在5年前开始立项做本土研发,从零开始去贴近中国客户和市场,打造真正符合客户需求的开发设计。目前公司已经在北京、上海、深圳吸引和培养了很多工程师,整个团队拥有超过130位工程师从事包含硬件和软件的NPU全栈研发。
依托强大的研发团队,安谋科技的自研实力也在稳步推进,五年来其自研业务从0走到大规模量产,已经形成了一定的积累和成果。据孙锦鸿介绍,目前公司已经推出多款NPU产品,并且已经做到了第三代架构,覆盖车载、AIoT、智能终端等场景,同时安谋科技始终专注于IP和SDK开发,以及为国内客户提供服务和支持。
对于“周易”NPU IP的差异化优势,孙锦鸿指出,国内其它很多NPU厂商更多是解决自身在AI应用上的需求。而我们的架构从一开始就走了一条比较难的路,我们希望做通用的NPU架构,并且把AI在CPU的运算工作量最大化地转移到NPU。同时在设计思路上打造差异化优势,希望尽量在最少占用CPU资源的前提下,支持更多、更灵活的算子。
据介绍,在这个过程中,安谋科技投入了很大的工程师资源去做深入的软件栈或通用软件栈的开发,并且与客户密切配合,支持客户模型或自定义算子的开发。这是安谋科技与其他厂商不同的地方,也是核心差异化优势的关键所在。
安谋科技自研IP产品矩阵及相关服务
多维度生态合作,助推智能计算“芯”繁荣
自2018年独立运营以来,安谋科技一直在自研业务上积极布局、大力投入,相继推出了“周易”NPU、“星辰”CPU、“山海”SPU以及“玲珑”ISP、“玲珑”VPU等多个处理器产品线,并全部实现了客户相关产品的流片和量产。
公开数据显示,安谋科技的自研产品矩阵已向超过160个本土客户进行授权,客户基于安谋科技自研IP的芯片出货量突破2亿颗,覆盖智能汽车、物联网、数据中心基础设施、移动设备等众多领域。
值得一提的是,3月28日,搭载了安谋科技“周易”NPU的芯擎科技“龍鷹一号”智能座舱芯片实现了量产发布,在高性能算力、AI性能方面具有诸多创新。目前,针对该款芯片的定点车型开发正在稳步推进,并有望搭载于吉利、一汽旗下品牌车型中。安谋科技和芯擎科技均表示,将在高端车规级芯片领域继续深化技术和生态合作,共同助推汽车电子的高速发展。
可以看到,凭借敏锐的市场洞察和服务能力,安谋科技的自研产品正行驶在加速落地和生态扩展的快车道。
为了进一步助力中国AI产业生态构建,安谋科技在本次发布会上还正式发布了“周易”NPU软件开源计划,通过开放源码,来满足客户更自主、更灵活的算法移植需求。同时解决以AI推理侧碎片化严重问题为代表的行业难题和挑战,减小客户在应用开发或技术创新上的代价和周期。
安谋科技“周易”NPU软件开源计划
“站在扩大生态的角度来讲,开源的好处还在于能拥有一个统一的软件方案,即使合作伙伴使用不同的NPU,都能通过参与开源项目来共建一个软件生态。”杨磊说道。
简单理解,安谋科技希望通过软件开源的手段来繁荣NPU生态,同时也希望能借此加强合作伙伴在AI领域的创新。目前,“周易”NPU软件开源计划已吸引第一批合作伙伴入驻, 其中不乏来自AIoT、智能汽车、智能操作系统等领域的明星企业。
同时,作为赋能合作伙伴的另一重要举措,安谋科技于2022年7月发起了生态合作伙伴计划。杨磊表示:“自生态合作伙伴计划启动以来,已经有业内超过40家合作伙伴加入,涵盖智能汽车、物联网、基础设施等各个领域的头部企业。安谋科技正在积极推进与各个合作伙伴的战略合作、项目落地及demo的联合开发,今年会陆续有合作成果的落地及联合宣传。”
“全球标准,本土创新”之下,安谋科技正依托自研IP产品矩阵及高性能Arm IP,结合NPU软件开源和生态伙伴计划,不断加强与合作伙伴在技术与生态上的“同频共振”,在技术飞速迭代的当下,积极为产业上下游提供切实有效的IP产品技术和解决方案,持续赋能中国智能计算生态的创新和繁荣。