2月6日,美团把自己搞出来的LongCat-Flash-Lite模型拿出来给大家看了,这玩意儿是他们人工智能实验室捣鼓出来的。以前大家都在追求那种超大的模型,动不动就是几百亿甚至几千亿的参数,结果计算量太大,大家用着不顺手。美团这回想解决这个问题,就把混合专家架构用了进来,想让模型变轻变灵活。 这个模型最牛的地方是把参数给分开了。总共有685亿个参数,它给动态路由技术派上了用场,把单次推理需要激活的参数压到了29亿到45亿之间。更绝的是,他们把300亿个参数专门用来优化嵌入层。这就好比专门给电脑加了一个高速通道,让计算速度快了不少。 测试下来效果不错,在写代码、跟智能体聊天这些专业活儿上,表现比同规模的其他模型强。这次还在处理长文本上下了功夫。用了YARN位置编码扩展技术,模型就能稳稳地处理256K长度的内容了。像看长文档、查代码这种活儿都能用得上。 具体速度是多少呢?在输入4K文字、输出1K文字的情况下,每秒能生成500到700个词(token)。这可比那些同类模型快多了。美团的人说这次主要搞了三个突破:一是把系统优化得更好了;二是在专业领域还是领先的;三是弄了一套能处理长文本的系统。 为了方便大家用,美团还把API接口给开放了。开发者只要去申请就能用,每天能白嫖5000万个token的额度。这样一来门槛就降低了,不管是小企业还是个人开发者都能玩起来。 现在大家都在琢磨怎么让AI更实用,而不是光看参数大不大。美团的这个模型正好反映了这种趋势。它既保证了能力,又省了不少电和钱。尤其是在写代码和做智能体这些方面有大突破,说明针对具体业务做深度优化是很有搞头的。 随着AI越来越深入生活和工作,怎么在保持性能的同时让它跑得更快成了大问题。美团这次发布的模型不光展示了他们的技术实力,还给了开放的API接口来建立生态。这种既搞创新又让大家都能用得起的路子,对咱们国家的AI发展肯定有大帮助。