Tenstorrent练维汉:AI时代,算力将遍布每一个硬件的每一个地方
7月6日,在世界人工智能大会期间同步举办的RISC-V和生成式AI论坛上,Tenstorrent首席CPU架构师练维汉指出,AI目前的算力问题还没有解决,只有解决算力,算法才有足够的发展空间。
本次论坛以“智”由“芯”生为主题,由上海开放处理器产业创新中心、芯原微电子(上海)股份有限公司主办,中国RISC-V产业联盟协办。
练维汉表示,AI对算力的需求是前无古人后无来者的,Tenstorrent认为算力需求是每一个地方发生的,算力必须分布在各个不同的阶段,在每一个硬件的每一个地方。数据中心的算力问题是Tenstorrent最聚焦的领域,但面临其他领域的算力需求时,Tenstorrent也会授权一部分IP给这些客户,通过Chiplet技术帮助客户打造算力芯片。
Tenstorrent是RISC-V领域的主要玩家之一,练维汉谈到RISC-V的优势时,强调了RISC-V的可扩展性、高效率和高稳定性等。
紧接着,练维汉介绍了Tenstorrent的产品组合,软件解决方案和开发流程等。练维汉指出,除了各种RISC-V通用内核外,Tenstorrent还拥有为神经网络推理和训练量身定制的专有 Tensix 内核。每个Tensix 内核包含五个RISC内核、一个用于张量运算的数组数学单元、一个用于矢量运算的SIMD单元、1MB或 2MB的 SRAM,以及用于加速网络数据包运算和压缩/解压缩的固定功能硬件。Tensix内核支持多种数据格式,包括BF4、BF8、INT8、FP16、BF16,甚至 FP64。
“五个内核每一个都各司其职,这就是RISC-V产生的一个非常重要的用处,虽然它们各司其职,可是在推送数据的量非常大,虽然它们小,可是执行的数据量非常大;在芯片执行的过程中,有时候会出现‘等数据来’的情况,本身功耗非常重要,所以芯片所以不能做的太大,也不需要做那么大,这就是RISC-V的优势,可以有一个非常有弹性的制作方法,根据不同的需求来做不同的设计。”
练维汉表示,RISC-V生态系统越来越成熟,所以功能也越来越明显。希望高性能的CPU在AI中也能有很好的应用,有些应用并不适合用矩阵运算来做,所以希望能够在Computing Graph中,有一些能回到高性能CPU的运转上。
练维汉强调,RISC-V有非常强的可延展性、可扩充性和高效率,以及RISC-V非常多元的IP来源。这还只是刚刚开始,未来RISC-V将因开源创造非常大的想像空间。所以,RISC-V在未来AI时代的算力、硬件上扮演越来越重要的角色。