塔斯娱乐资讯网

全球范围看,有两家厂商的端侧AI加速芯片进展都很顺利。其他有近10家公司都在追赶

全球范围看,有两家厂商的端侧AI加速芯片进展都很顺利。其他有近10家公司都在追赶中。这些芯片一旦商用,在边缘和端侧的小尺寸模型的Token成本将接近于零(大尺寸模型则必须用云端)。

期待明年在手机、PC和车机上的应用。一旦这个技术商用,端侧模型使用的带宽将直接达到TByte/s级别。

坚信这个方向从技术和商业角度都是正确的。