李斌:面向Token经济的新一代算力基础设施
报告信息
讲者:李斌,中科曙光高级副总裁
报告题目:面向Token经济的新一代算力基础设施
场次:10月22日上午主会场特邀报告
报告解读
随着大模型不断普及,整个产业进入以Token调度为核心的算力时代:
Token驱动下算力需求特征发生显著变化,传统算力架构难以适配大模型业务
新一代算力基础设施,需要面向大模型训练、推理做针对性优化
算力不再仅仅是基础资源,会演化成核心生产要素,也就是“Token经济”
简单理解:大模型业务计量、资源调度、成本核算都围绕Token展开,底层算力平台架构设计思路需要随之重构。
技术人视角
对于后端、云原生、算力运维方向开发者,大模型时代算力基建是巨大赛道,如何优化推理集群调度、降低Token成本是工业界现实痛点。
蒋冠军:亿级用户背后的技术引擎:千问C端技术实践
报告信息
讲者:蒋冠军,阿里巴巴ATH副总裁
报告题目:亿级用户背后的技术引擎:千问C端技术实践
场次:10月22日上午主会场特邀报告
报告要点
本场属于非常有价值的产业落地分享,聚焦C端大模型产品大规模落地遇到工程挑战:
亿级访问规模下,大模型服务稳定性、延迟控制
C端用户复杂多样Prompt带来的流量波动问题
大模型产品在真实互联网环境中的工程优化方案
学术研究侧重模型精度,C端工程落地需要同时兼顾延迟、成本、可用性,里面大量实战经验,适合做LLM工程部署的开发者阅读。