从云到边缘,AI何以触手可及

生成式AI大模型从兴起到成熟应用,印证了当前这轮人工智能发展浪潮的颠覆性意义。如今,AI的应用场景已不再局限于强大的数据中心,而是向边缘设备延伸,这让AI真正开始成为新的生产工具。

近日,在芯原主办的一次AI研讨会上,芯原执行副总裁、IP 事业部总经理戴伟进在技术研讨会上指出:“大模型已经在各行各业带来了显著变化,尤其在嵌入式系统和边缘设备中的应用日益显著。” 他强调了多模态大模型能够实现深层次的智能水平,推动AI技术在各个领域的爆发式发展。这也意味着,随着AI从云到边缘的部署,芯片性能正面临着更高要求。

挑战:算力与功耗的双重压力

在过去一年中,大模型的部署需要海量的高算力芯片,这已经成为人们老生常谈的话题。随着AI从云到边缘端部署,边缘侧也迎来了芯片的算力和功耗双重挑战。如何在有限的能源条件下提供足够的算力,是AI芯片设计需要解决的关键问题。

芯原高级副总裁、定制芯片平台事业部总经理汪志伟在研讨会上表示,“大模型”与AIGC对于算力需求正在不断升级,这既然体现在云端,也体现在边缘端和终端。云端训练主要侧重于高性能计算,大数据分析以及海量数据存储,边缘计算则侧重于推理、实施决策和部分数据训练,终端数据采集则涵盖原始数据采集,为大模型提供Tokenized的数据输入等。要解决这些从“云”到“端”的算力问题,其实就是需要解决芯片问题,要在性能和功耗之间找到最佳平衡点。

芯原在这方面的创新,从其AI-ISP IP便能管中窥豹,通过优化硬件架构,实现了高效的计算性能,同时保持了低功耗。这种设计不仅提高了边缘设备的处理能力,还延长了设备的电池寿命,为用户提供了更好的使用体验。据悉,芯原为客户定制的面向边缘和云端大模型的AI ISP芯片在9个月内就完成了从开案到流片,该芯片基于台积电N6制程,集成了高性能的RISC-V内核,模拟待机功耗低于4mW,AI增强拍照功耗也低于3.5W。

再以芯原的NPU IP为例,在专门对Transformer做了定制优化后,芯原最新的NPU IP针对权重做4bit和8bit的量化压缩,大大减少了带宽的消耗,针对Transformer相关的网络性能提升了10倍。据查凯南介绍,芯原的端侧NPU能够实现48TOPS的算力,能够支持在终端侧的大模型运行。比如在StableDiffusion 1.5模型下,芯原的NPU可以在2秒内进行20步推理;在LLaMA2 7B模型下,芯原的NPU能够在1秒内生生成20个Token。

根据目前市场的需求,芯原基于自身NPU IP可伸缩可扩展的特性,已发展了覆盖从高性能云计算到低功耗边缘计算的生成式AI解决方案,包括专门面向边缘端大模型的NPU IP——VIP9X00以及AI-GPU IP,以及面向云端大模型的Tensor Core GPU IP——CCTC-MP。

除了算力和功耗的挑战,边缘端AI的发展还面临隐私与安全性问题。众所周知,边缘设备通常部署在不受信任的环境中,数据容易受到攻击和泄露。为了保障数据的安全,芯片设计需要集成先进的加密技术和安全协议。芯原的低功耗安全智能传感芯片在这方面表现突出,它不仅能够在边缘端安全处理数据,还能有效防止未经授权的访问,保护用户的隐私。

机遇:应用场景的拓展与技术创新

边缘计算的崛起为AI芯片行业带来了巨大的市场机遇。随着AI技术的应用场景不断拓展,从智能手机、AI PC、智能汽车到安防监控、数据中心等,都对AI芯片有着海量需求。通过不断的技术创新,芯原AI相关的处理器IP出货量逐年攀升。据介绍,芯原的NPU IP已在全球累计出货超过1亿颗,覆盖AI视觉、AI语音、AI图像,以及AIoT/智慧家居、AR/VR、自动驾驶、PC、智能手机、机器人等多种场景。与此同时,芯原的GPU IP已在全球累计出货近20亿颗,VPU IP也已经达到全球领先水平。

为迎接广泛的应用场景和巨大的市场机遇,除了需要技术创新更需要灵活可扩展的产品组合,据戴伟进介绍,芯原的NPU IP与GPU IP、GPGPU IP共同组成的AI-Computing处理器技术,同时具备可编程、可扩展、高性能和低功耗的特点,涵盖数据中心和边缘服务器的全面应用。其中,NPU IP VIP9X00支持推断和增量训练,GPGPU IP CC8X00适用于通用计算,NPU+GPU IP GC9X00则专注于AI-GPU/AI-PC,Tensor Core GPU IP CCTC-MP适用于大模型推理和训练。同时,芯原通过Acuity工具包支持所有主流框架,为开发者提供了强大的软件支持,进一步推动AI技术的发展和应用。

除了原有产品线的拓展,新技术架构的出现也为AI从云部署到边缘端提供强有力的支撑。例如Chiplet技术的发展,这种模块化设计能够灵活满足不同应用场景的需求,提高芯片的可扩展性和复用性。这种创新不仅促进了AI技术的发展,也为整个产业链创造了新的合作机会和发展空间。芯原是Chiplet技术的主要推动者之一,基于其从28nm到5nm各种先进工艺节点丰富的流片与量产经验,以及芯原SiPaaS(芯片设计平台即服务)系统级芯片设计平台的多年迭代,芯原在Chiplet领域正与多家优秀的设计公司展开合作。

AI技术的从云到边缘的演进,为芯片行业带来了巨大的挑战和机遇。芯原股份凭借其领先的技术和产品,不仅成功应对了这些挑战,更在AI领域占据了先机。随着技术的不断进步和应用场景的不断拓展,芯原股份有望在未来的AI时代发挥更加重要的作用。


夕夕海 » 从云到边缘,AI何以触手可及

发表回复