塔斯娱乐资讯网

AI算力方向稳了三重利好来袭!算力需求暴涨叠加存量增效技术突破,AI算力、大模型

AI算力方向稳了三重利好来袭!算力需求暴涨叠加存量增效技术突破,AI算力、大模型配套全线迎来利好,接下来估计要卷土重来了!国内日均词元调用量突破500万亿,算力需求直接爆了。现在大模型用得越来越普遍,调用量蹭蹭往上涨,短时间新的算力补不上缺口,只能想办法把手上已有的算力榨干用好,算力紧张的逻辑彻底坐实。Mooncake大模型推理系统拿下国际大奖,这套技术路子得到认可。郑纬民院士团队研发的系统斩获埃里克·里德尔最佳论文奖,核心就是PD分离技术,不用一味疯狂加硬件,靠软件调度,把现有的算力潜力充分挖出来。PD分离技术大幅拉高硬件的使用效率,算力效能直接上一个大台阶。P负责接收用户的提问,D专门输出回答,以前同一批算力来回切换做两件事;用上PD分离之后,一部分算力专门读题,把结果传给另一部分算力来答题。硬件数量不变,就能多扛75%的用户请求,长文本处理能力直接翻五倍以上,存量算力的价值彻底打开。总结一下主要影响这三大方向:① 大模型推理:适配PD分离推理优化的相关方向② 算力调度:算力资源精细化管理调度的相关方向③ 高速互联网络:RDMA高速数据传输的相关方向总之,算力紧张的预期进一步强化,需求大增叠加技术突破,多重利好共振,反弹预期拉满,接下来AI算力方向有望迎来强势反弹,踏空的,接下来恐怕又要遗憾了吧