iPhone 17 Pro这次和FlashMoE合作,搞定了在手机上跑4000亿参数大模型的难题。大家都知道,现在的手机越来越强,苹果这次推出的iPhone 17 Pro又把科技圈的人给震住了。最近开源项目FlashMoE在这台手机上试了个水,成功让这个大家伙跑了起来,说明手机在AI这块儿的潜力真不小。 FlashMoE通过一种挺特别的技术,把GPU和SSD的数据弄在一起,iPhone 17 Pro不用把整个大模型都装进去就能干活。实测出来的结果是生成速度大概0.6个Token每秒,也就是要等上1.5到2秒钟才能蹦出一个词来。虽然在传统眼光看来有点慢,但它确实跑通了,说明以后在手机上本地用超大参数模型这事越来越靠谱了。 当然了,iPhone 17 Pro配的12GB LPDDR5X内存现在算是顶级的,但就算把4000亿参数模型量化压缩了,也得占200GB左右的地方。这事儿确实难办,说明咱们现在的技术还是有短板,但也给以后设备性能的升级留足了想象空间。 其实在本地跑大模型有个好处是能保护隐私,不用连网就能干些复杂的活儿。在大家都这么看重数据安全的今天,这一点特别重要。不过这也意味着耗电量会变大点,影响手感体验。 从用户角度看,iPhone 17 Pro跑这个大模型挺让人期待的。以后不管是玩游戏、处理视频还是办公,AI都能帮上大忙,让手机更聪明也更有乐趣。 以后随着技术越做越好,智能手机在AI方面的应用肯定会越来越广。不管是大模型本地跑还是别的AI技术用起来都会改变我们的生活。当然了我们也得保持清醒,多想想这些技术带来的社会影响和伦理问题。 总而言之,iPhone 17 Pro和FlashMoE的联手给手机的发展指了条新路。以后有更多新技术冒出来的时候,咱们有理由相信手机能变成咱们生活中离不开的好帮手。