Edge AI大潮之下,MCU功耗与成本的平衡度如何掌握?
近年来,物联网设备数量的爆发式增长、数据量的急剧增加以及对实时响应、数据隐私保护需求的提升,边缘智能正在向集中式的云端计算发起挑战。诚然,云端计算在计算资源的高效利用、增强数据分析能力等领域有着独到的优势,但边缘计算可以有效应对网络带宽压力增大、数据传输延迟增加、数据安全风险等多重挑战。而且,随着AIGC浪潮给信息处理格局与效率带来深层变革,边缘计算的魅力正在被涌浪式的发掘出来。在泛AI赛道内,越来越多的企业高管已经意识到对海量数据进行实时、本地化的处理与分析的重要性。
而且,叠加云端推理成本较高,能耗较大等因素,端侧AI部署成为AI实现规模化扩展及应用落地的重要抓手,也是物联网以及更广泛领域的关键推动因素,而且智能物联网设备需要在边缘侧进行大量处理,而Edge AI能确保网络、计算和能源资源的优化使用。与此同时,受成本、功耗和体积等因素的限制,通常在边缘和终端设备上使用微控制器(MCU)作为计算和控制的核心。可以说,在万物互联时代,Edge AI与MCU是“天作之合”。
万物互联时代,Edge AI与MCU是“天作之合
全球各头部咨询机构数据显示,2022年全球物联网设备达300亿台,预计到2027年将达到430亿台,每秒大约有127台设备首次接入物联网,到2025年,物联网设备生成数据量将达到79.4ZB。
日前,全球知名MCU供应商英飞凌发布全新PSOCTM Edge微控制器(MCU)系列的详细信息,该系列产品的设计针对机器学习(ML)应用进行了优化。新推出的PSOCTM Edge MCU三个系列E81、E83和E84在性能、功能和内存选项方面具有优异的可扩展性和兼容性。英飞凌PSOCTM Edge系列对Arm® Cortex® 系列不同内核的搭载,对HeliumTM DSP指令集、以及EthosTM-U55 NPU处理器等AI加速器的权衡取舍,加上对ModusToolboxTM 软件平台的搭载等等,展示了英飞凌在“MCU+Edge AI”领域的深度思考。
为了帮助开发者使用自身的芯片快速实现人工智能应用,一些外资的MCU制造商之前也纷纷发布了MCU AI支持库和解决方案。在智能物联网与智能产品的应用热潮和巨大市场前景驱动之下,下一代物联网边缘设备如何能保证在不影响功耗的情况下继续提高性能?无论是从“外援”层面即指令集架构核的选择,还是从“自研”层面的围绕ML开发的软件库和硬件加速器等,这些全球头部的厂商往往会给出差异化,但却又“一月映万川”式的回答。换言之,在“MCU+AI”理念不断纵深拓展时,全球各大MCU同步厂商均面临着“如何让强化MCU的AI算力”这一灵魂之问。具体来讲,相较边缘端使用FPGA或GPU,以AI加速器集成MCU的替代性方案必须既要考虑成本问题,还要探索如何调用能源管理工具以保证能耗的优化。
虽然RISC-V近年来也开始在嵌入式人工智能领域崭露头角,但Arm依然是大多数MCU内核的供应方。英飞凌全新的PSOCTM Edge E81、E83和E84 MCU基于高性能的Arm® Cortex®-M55内核,这一系列或者支持Arm® HeliumTM DSP指令集并搭配Arm® EthosTM-U55神经网络处理器,或者以Cortex®-M33内核搭配英飞凌超低功耗自研神经网络(NN)加速器。
以PSOCTM Edge E81为例,这一款MCU采用了Arm® HeliumTM DSP技术和英飞凌NNLite神经网络(NN)加速器,而PSOCTM Edge E83和E84内置Arm® EthosTM-U55微型NPU处理器,与现有的Cortex®-M系统相比,其机器学习性能提升了480倍,并且它们支持英飞凌NNlite神经网络加速器,适用于低功耗计算领域的机器学习应用。
EthosTM-U55被称为微型NPU(microNPU),专门设计用于加速面积受限的嵌入式和IoT设备比如MCU的ML推理,Ethos-U55结合具有搭载AI算力的Arm Cortex-M55处理器,与前几代Cortex-M相比,可以将ML工作负载(例如 ASR)的能耗降低大幅降低——在约0.1mm2的面积中减少高达90%的能耗。
与此同时,Arm Cortex-M85目前是Arm推出的最高效能的Cortex-M 处理器,采用Arm Helium 技术,并为需要特高效能和更高安全性的 Cortex-M 架构的应用提供自然升级路径。但英飞凌PSOCTM Edge采用的是Cortex-M55/M33搭配Helium,并没有用Helium+Cortex-M85解决方案。对此,英飞凌物联网、计算及无线事业线执行副总裁Sam Geha向媒体表示,不是说所有的应用程序、应用场景都需要用到M85这样高端的内核,总体来看,英飞凌PSoC产品设计方案根据目标应用需求,选择了最合适的M55和M33。虽然在需要用到大量矩阵运算的场景如基于神经网络推理时,DSP的运算性能不如专业的支持并行计算的NPU,但DSP的强项就在于数字信号的处理,Cortex-M55是首个基于 Armv8.1-M 架构也是首个支持Arm Helium矢量处理技术的处理器,目前在可穿戴设备、智能语音设备方面有广泛的应用。
尤其值得一提的是,英飞凌PSOCTM Edge MCU不仅有自研的加速器,同时也采用了Arm U55神经网络加速器(NPU),根据不同的应用场景,很好地把Ethos-U55和NNlite的功耗做了最佳的结合。
除此之外,边缘AI作为在设备本地端执行的AI,通常需要使用电池供电,因此需要在系统功耗、计算速度和设备成本之间取得一个比较好的平衡。对此,Sam Geha还告诉集微网,PSOCTM Edge MCU设计了一个“always-on”的电源域。该电源域中涵盖了很低功耗场景可以使用的外设。包括超低功耗下一些可编程的模拟子系统,低功耗的模拟外设能在系统进入待机模式时仍然可以工作。可以说,PSOCTM Edge在低功耗方面做了很多特殊的考量,因此可以被设计在一些传感器的节点上,也更适合工作于一些设备经常处于待机状态,所以该款MCU做到了既能支持always-on传感和响应功能,又能保持超低功耗。
Edge AI+MCU,不可忽视的软件库
Edge AI与MCU的双向奔赴,在DTCO芯片设计理念指引下,让开发者在MCU软硬件的融合度上不得不下一些苦功夫。端到端的ML的开发能力包括了从用户的数据处理、采集,模型的选择与训练,数据“投喂”与模型训练让很多大型通用MCU供应商意识到了“端到端工具链”的重要性。
去年,去年英飞凌完成了对瑞典初创公司Imagimob的并购,PSOCTM Edge MCU也集成了Imagimob的ML解决方案,而且Imagimob成为了英飞凌边缘人工智能应用开发平台,现已经被成功整合到了MCU开发环境ModusToolboxTM中——Imagimob Studio目前是一个集成到ModusToolboxTM中的边缘AI开发平台,可提供从数据输入到模型部署的端到端本地机器学习模型训练和开发能力,用户在其他平台训练的Keras、TensorFlowLite等模型也可以通过该工具的量化和转换部署到PSOC MCU中。同时,Imagimob还提供许多成熟模型让用户能够轻松上手,目前已经支持的用于音频识别且已经训练好的模型,如婴儿啼哭声、咳嗽声的检测等可以被采用且部署到本地。配合PSOCTM Edge使用时,Imagimob能够为边缘快速构建和部署最新的机器学习模型。
为了帮助开发者使用自身的芯片快速实现人工智能应用,其他MCU大厂也纷纷推出了MCU AI支持库和解决方案。各家在边缘智能的底座所要求的低功耗、长续航、稳定性的解决方案的规划上已呈争奇斗艳、万竞齐发之态。在激烈的市场竞争中,PSOCTM Edge展示了英飞凌在AI+MCU领域的计算能力、感知技术与安全防护三大维度上均实现了深度创新。
结语 MCU的know-how和产品认知
英飞凌通过一款互动游戏展示了PSOCTMEdge 的高性能计算能力,而且使用带Helium DSP的 Cortex-M55处理计算需求和具有挑战性的游戏逻辑,并使用EthosTM-U55 CPU高效执行机器学习模型。PSOCTM Edge本身具备信息处理能力,它可以通过一些神经网络学习和机器学习进行相应识别,比如对英飞凌雷达传感器收集的手部运动数据进行的手势识别,有了Edge M55或者U55这种具有神经网络运算能力的产品,可以实现原来MCU做不到或者需要很大运算量才能实现的功能。
总之,智能物联网与智能产品的应用热潮和巨大市场前景驱动了MCU AI技术、开发环境和工具的迅速发展。目前主要的头部MCU芯片厂商均已发布支持芯片的MCU AI开发工具,市场上正不断涌现出部署了深度网络模型的MCU AI人工智能产品。MCU AI的技术和应用产品发展前景非常广阔。在MCU功耗与成本的微妙平衡的掌握度上,这不仅需要企业的研发know-how的积累,还考验着开发者在面对不同应用场景下的产品认知,即如何选择性价比最高的解决方案,达到功耗与成本的最佳平衡。