从云到边缘，AI何以触手可及

生成式AI大模型从兴起到成熟应用，印证了当前这轮人工智能发展浪潮的颠覆性意义。如今，AI的应用场景已不再局限于强大的数据中心，而是向边缘设备延伸，这让AI真正开始成为新的生产工具。

近日，在芯原主办的一次AI研讨会上，芯原执行副总裁、IP 事业部总经理戴伟进在技术研讨会上指出：“大模型已经在各行各业带来了显著变化，尤其在嵌入式系统和边缘设备中的应用日益显著。” 他强调了多模态大模型能够实现深层次的智能水平，推动AI技术在各个领域的爆发式发展。这也意味着，随着AI从云到边缘的部署，芯片性能正面临着更高要求。

挑战：算力与功耗的双重压力

在过去一年中，大模型的部署需要海量的高算力芯片，这已经成为人们老生常谈的话题。随着AI从云到边缘端部署，边缘侧也迎来了芯片的算力和功耗双重挑战。如何在有限的能源条件下提供足够的算力，是AI芯片设计需要解决的关键问题。

芯原高级副总裁、定制芯片平台事业部总经理汪志伟在研讨会上表示，“大模型”与AIGC对于算力需求正在不断升级，这既然体现在云端，也体现在边缘端和终端。云端训练主要侧重于高性能计算，大数据分析以及海量数据存储，边缘计算则侧重于推理、实施决策和部分数据训练，终端数据采集则涵盖原始数据采集，为大模型提供Tokenized的数据输入等。要解决这些从“云”到“端”的算力问题，其实就是需要解决芯片问题，要在性能和功耗之间找到最佳平衡点。

芯原在这方面的创新，从其AI-ISP IP便能管中窥豹，通过优化硬件架构，实现了高效的计算性能，同时保持了低功耗。这种设计不仅提高了边缘设备的处理能力，还延长了设备的电池寿命，为用户提供了更好的使用体验。据悉，芯原为客户定制的面向边缘和云端大模型的AI ISP芯片在9个月内就完成了从开案到流片，该芯片基于台积电N6制程，集成了高性能的RISC-V内核，模拟待机功耗低于4mW，AI增强拍照功耗也低于3.5W。

再以芯原的NPU IP为例，在专门对Transformer做了定制优化后，芯原最新的NPU IP针对权重做4bit和8bit的量化压缩，大大减少了带宽的消耗，针对Transformer相关的网络性能提升了10倍。据查凯南介绍，芯原的端侧NPU能够实现48TOPS的算力，能够支持在终端侧的大模型运行。比如在StableDiffusion 1.5模型下，芯原的NPU可以在2秒内进行20步推理；在LLaMA2 7B模型下，芯原的NPU能够在1秒内生生成20个Token。

根据目前市场的需求，芯原基于自身NPU IP可伸缩可扩展的特性，已发展了覆盖从高性能云计算到低功耗边缘计算的生成式AI解决方案，包括专门面向边缘端大模型的NPU IP——VIP9X00以及AI-GPU IP，以及面向云端大模型的Tensor Core GPU IP——CCTC-MP。

除了算力和功耗的挑战，边缘端AI的发展还面临隐私与安全性问题。众所周知，边缘设备通常部署在不受信任的环境中，数据容易受到攻击和泄露。为了保障数据的安全，芯片设计需要集成先进的加密技术和安全协议。芯原的低功耗安全智能传感芯片在这方面表现突出，它不仅能够在边缘端安全处理数据，还能有效防止未经授权的访问，保护用户的隐私。

机遇：应用场景的拓展与技术创新

边缘计算的崛起为AI芯片行业带来了巨大的市场机遇。随着AI技术的应用场景不断拓展，从智能手机、AI PC、智能汽车到安防监控、数据中心等，都对AI芯片有着海量需求。通过不断的技术创新，芯原AI相关的处理器IP出货量逐年攀升。据介绍，芯原的NPU IP已在全球累计出货超过1亿颗，覆盖AI视觉、AI语音、AI图像，以及AIoT/智慧家居、AR/VR、自动驾驶、PC、智能手机、机器人等多种场景。与此同时，芯原的GPU IP已在全球累计出货近20亿颗，VPU IP也已经达到全球领先水平。

为迎接广泛的应用场景和巨大的市场机遇，除了需要技术创新更需要灵活可扩展的产品组合，据戴伟进介绍，芯原的NPU IP与GPU IP、GPGPU IP共同组成的AI-Computing处理器技术，同时具备可编程、可扩展、高性能和低功耗的特点，涵盖数据中心和边缘服务器的全面应用。其中，NPU IP VIP9X00支持推断和增量训练，GPGPU IP CC8X00适用于通用计算，NPU+GPU IP GC9X00则专注于AI-GPU/AI-PC，Tensor Core GPU IP CCTC-MP适用于大模型推理和训练。同时，芯原通过Acuity工具包支持所有主流框架，为开发者提供了强大的软件支持，进一步推动AI技术的发展和应用。

除了原有产品线的拓展，新技术架构的出现也为AI从云部署到边缘端提供强有力的支撑。例如Chiplet技术的发展，这种模块化设计能够灵活满足不同应用场景的需求，提高芯片的可扩展性和复用性。这种创新不仅促进了AI技术的发展，也为整个产业链创造了新的合作机会和发展空间。芯原是Chiplet技术的主要推动者之一，基于其从28nm到5nm各种先进工艺节点丰富的流片与量产经验，以及芯原SiPaaS（芯片设计平台即服务）系统级芯片设计平台的多年迭代，芯原在Chiplet领域正与多家优秀的设计公司展开合作。

AI技术的从云到边缘的演进，为芯片行业带来了巨大的挑战和机遇。芯原股份凭借其领先的技术和产品，不仅成功应对了这些挑战，更在AI领域占据了先机。随着技术的不断进步和应用场景的不断拓展，芯原股份有望在未来的AI时代发挥更加重要的作用。