开源方案推动超大参数大模型在手机端“跑起来”,本地智能计算迈出关键一步

在移动智能终端性能持续提升的背景下,苹果公司最新发布的 iPhone 17 Pro 在人工智能应用上取得新进展。该设备借助开源技术方案,实现了在本地运行参数规模达 4000 亿的大语言模型,显示出移动端计算能力的更增强。技术团队采用新的存储计算架构,针对移动端硬件资源有限该关键问题进行优化。通过动态调度 GPU 算力与闪存数据流,系统引入“按需加载”机制,使原本理论上需要 200GB 内存的模型能够在 12GB 内存设备上运行。实测数据显示,目前文本生成速度为 0.6 个标记/秒,大致相当于每 1.5 至 2 秒输出一个单词。

此次在手机上验证超大模型的本地运行,展示了端侧智能的潜力,也带来体验、能耗与治理等新问题。面向未来,只有在性能提升与安全合规、用户体验与资源约束之间取得更好的平衡,端侧智能才能从实验走向更广泛的应用,让技术更稳妥地服务日常生活与数字安全。