业界专家聚焦人工智能架构瓶颈 呼吁突破Transformer技术范式

围绕“Transformer能否支撑下一代智能体(Agent)”的讨论,近期在学界和产业界持续升温。

在2025腾讯ConTech大会暨腾讯科技Hi Tech Day播出内容的圆桌环节中,阶跃星辰首席科学家张祥雨表示,现有Transformer架构可能不足以支撑下一代智能体的发展方向。

这一判断与近期国际学界、产业研究圈多位代表人物的观点形成呼应:一方面,过去数年由Transformer驱动的模型能力快速提升;另一方面,当技术进入“深水区”,面向真实世界的推理、规划与行动能力仍存在明显短板。

问题:从“会生成”到“会行动”,智能体面临结构性能力缺口 所谓下一代智能体,不仅要求模型能在对话或文本生成上表现良好,更强调在开放环境中进行长期任务分解、跨工具调用、状态记忆、反馈纠错以及与物理世界或业务系统的交互协同。

现实应用中,智能体需要处理复杂约束、时间延迟和不完备信息,并对行为后果承担可解释、可评估的责任。

当前主流大模型在“语言流畅度”上进步显著,但在稳定的因果推断、可验证的物理常识、跨场景迁移、持续学习等方面,仍容易出现“看似合理但不可靠”的情况。

由此带来的核心疑问是:以“预测下一个符号”为主要训练目标的架构,能否自然演化出面向真实世界行动的系统能力。

原因:规模化红利趋缓与目标函数局限叠加,推理与泛化遭遇瓶颈 回顾技术演进,2017年提出的Transformer以自注意力机制替代循环结构,使并行计算成为可能,显著提升训练效率,并与GPU计算生态形成相互促进。

此后从BERT到GPT系列,再到近年来涌现的多类大模型,多以Transformer为底座,通过更大参数规模、更高质量数据和更强算力投入实现能力跃迁,形成业界常称的“尺度定律”经验路径。

然而,多位专家近期强调,规模化并非无限延伸。

其一,边际收益递减逐渐显现:模型越大,获得同等幅度能力提升所需的数据与算力成本大幅上升,工程难度与能耗压力同步增加。

其二,训练目标与数据分布存在天然约束:以大规模语料为主的学习更擅长捕捉统计相关性,对因果关系、物理规律和可验证推演的学习并不充分。

其三,评测导向可能带来“迎合”问题:模型在标准化测试或高频任务上表现突出,但遇到分布外问题、长链条推理或现实交互时,稳定性下降。

专家的通俗比喻是:模型像“反复刷题的高分选手”,擅长从记忆与模式中快速提取答案,却未必掌握可迁移的深层规律。

影响:产业进入“从算力竞赛到研究竞赛”的转折期 这一讨论对产业链带来多重影响。

首先,对企业研发路径提出再平衡要求。

过去以扩大训练规模为主的路线仍将持续,但行业需要更明确地投入基础研究与架构创新,以应对智能体时代对可靠性、可控性和持续学习的更高门槛。

其次,对算力与数据投入结构产生影响。

算力仍是关键基础设施,但更高效的训练方法、更可控的推理机制、更贴近真实环境的数据构建(如可验证的模拟、交互式数据)将成为竞争重点。

再次,对应用落地的风险治理提出新课题。

智能体走向业务系统与生产场景后,一旦出现错误决策或不当行动,影响可能从“生成错误内容”扩展到“触发错误操作”,需要更严格的安全边界、审计机制与责任链条。

对策:以底层创新为牵引,推动“可推理、可验证、可控”的系统能力建设 业内普遍认为,下一阶段技术突破可能来自多路线并进而非单一路径。

具体而言: 一是强化因果与物理推理能力的建模方式。

通过引入更强的结构化归纳偏置、可计算的世界模型、与物理或规则系统结合的训练框架,提升模型对“为什么”与“如果……会怎样”的推演能力。

二是推动训练目标从单一生成导向走向多目标协同。

在保持语言能力的同时,引入可验证任务、规划与控制目标、工具使用与反馈学习等机制,使模型能力更贴近智能体任务形态。

三是构建可信评测与真实环境闭环。

智能体能力不仅要“答得好”,还要“做得对”。

需要围绕长期任务成功率、错误可恢复性、对抗鲁棒性、合规性与可解释性等维度建立评测体系,并在应用中形成数据—反馈—迭代的闭环。

四是完善工程与治理配套。

包括权限隔离、关键操作二次确认、行为日志与回溯、红线规则、行业标准与安全审查等,确保技术进步与风险控制同步推进。

前景:架构创新窗口期或已开启,竞争焦点转向“通用能力的实用化” 多位专家的共识指向一个趋势:行业可能正在从单纯依赖规模扩张的阶段,迈向更加重视底层机制创新的阶段。

Transformer作为过去数年最成功的通用架构,仍将是重要基础,但其是否需要与新型结构、记忆与规划模块、可验证推理机制等结合,已成为研究前沿与产业研发的共同关切。

未来五年,围绕智能体所需的长期规划、环境交互、因果推断与安全可控能力,或将出现新的方法体系与工程范式;谁能率先在可靠性与成本之间取得平衡,谁就更可能在下一轮竞争中占据主动。

人工智能技术的发展历程表明,每一次重大突破都伴随着范式转换的阵痛。

当前对Transformer架构的质疑,既是对技术局限性的理性认识,也是推动下一代技术革命的重要契机。

在这个关键节点上,保持开放的研究心态,加强基础理论创新,或许是通往真正智能的必由之路。

技术的进步从来不是一帆风顺的,正是在不断的质疑与突破中,人类才能不断接近人工智能的终极目标。