商汤大装置日均Token服务量8个月增近9倍，推理成算力增长主引擎

据InfoQ报道，在2026全球AI芯片峰会Token工厂异构混训混推技术研讨会上，商汤大装置资深技术专家罗伟介绍，商汤大装置日均Token服务量已从今年2月的0.46万亿增长至8月的4.5万亿，8个月增长近9倍。

商汤方面认为，推理需求已取代训练成为算力增长的主引擎，Agent时代的长上下文、多轮对话与突发流量对推理系统提出新要求，其底层设计已转向以Token、状态与时延预算为中心。技术上，商汤通过横向编排与纵向优化提升Token产能：横向为不同品牌、规格的芯片建立统一资源画像，对推理请求全生命周期管控，芯片不固定角色、按瓶颈动态调整；纵向从模型、引擎、芯片三层持续优化算子与调度，并从固定P/D配比走向动态资源池化，以应对流量与上下文长度的持续波动。

【AICOR点评】推理取代训练成为主引擎，这句话对企业界比对芯片业更重要——它宣告AI消耗的重心已从实验室转移到生产经营现场。8个月近9倍的Token增速，对应的是智能体在生产系统里的真实工作量。随之而来的新命题是Token经济：当算力以Token计量，企业的AI预算、部门结算、成效核算都需要一套新的度量衡。我们一直主张，AI原生组织要建立Token财务视角——把模型调用当作水电煤一样计量、分摊、优化。现在看，基础设施已经就位，缺的是企业侧的管理会计创新。