近年来，大模型技术快速发展，"更大参数、更强算力"一度被认为是主要发展方向。然而，随着训练成本上升、推理开销增加，以及应用端对稳定性和可控性要求的提高，单纯扩大模型规模的边际效益正在下降：增加算力投入并不总能带来相应比例的能力提升，长文本处理、复杂任务协作、效率和可靠性等问题日益凸显。如何在控制成本的同时持续提升智能水平，成为产业界和学术界共同面临的挑战。 杨植麟在演讲中指出，大模型发展遇到的瓶颈部分源于底层架构和训练范式的路径依赖。Transformer作为主流框架已使用多年，一些早期的工程化设置在大规模和多样化任务场景下可能反而限制了效率和性能提升。他认为，要持续提升模型能力，需要从基础构件入手进行优化，包括改进优化器策略、调整注意力机制的组织方式、优化残差连接等关键环节，通过结构性创新而非简单增加资源投入来实现突破。 基于该判断，杨植麟提出了Kimi Scaling技术路线图，包含三个相互促进的方向：一是提高Token效率，在相同算力下获得更多有效学习和推理产出；二是增强长上下文处理能力，使模型能在更长范围内保持信息整合和推理连贯性；三是发展智能体集群（Agent Swarms），推动模型从单一能力向协同完成任务转变。他认为，当效率、长程记忆和协作机制形成协同效应时，模型性能可能实现质的飞跃。 在架构层面，研究团队对注意力机制和残差连接等模块进行了调整：探索非全注意力层的实现方式以降低长序列计算成本，同时通过新的残差方案改善信息流动和训练稳定性。这些改变旨在突破传统工程惯性，使模型在更大规模下仍能保持可训练性、可扩展性和可部署性。 在系统层面，杨植麟强调"未来的模型不应只是单一问答系统"，而应成为可调度的协作平台。通过新的任务编排机制，将复杂任务分解为多个子任务并行处理，优化奖励和协作策略以减少并行带来的效率损失。这一方法有望提升复杂工程、检索分析和长链路推理等场景的效率，推动大模型从工具向工作流平台演进。 对于未来发展，演讲提出了三个关键方向：一是从扩大规模转向重构基础架构，重点解决训练效率和稳定性问题；二是统筹考虑长上下文能力和推理成本，优化注意力组织和系统工程；三是将智能体协作作为可扩展的工程能力来建设。整体思路是通过底层创新和系统化设计来推动应用发展。 杨植麟指出，研究范式正在发生变化：过去受限于小规模实验的研究，现在可以在不同规模上进行严格验证。这意味着行业竞争将更注重工程验证能力和规模化实验体系。未来大模型的领先优势可能更多来自架构、训练、系统和应用的协同创新，而不仅是硬件投入。随着应用端对时延、成本、隐私和可控性要求的提高，Token效率、长上下文处理和智能体协作能力将成为重要竞争力。
这次架构革新不仅为人工智能发展提供了新思路，也展现了中国科技企业从技术跟随者向规则制定者的转变。在全球产业陷入算力竞赛之际，对基础理论的深入研究或将改变技术发展轨迹，其长远影响值得关注。