2月10日这天，腾讯混元把基于1.8B参数的小尺寸模型，通过2Bit量化技术给弄出来了。这个叫HY-1.8B-2Bit的模型，就把实际存储占了差不多600MB的量。这次的HY-1.8B-Instruct模型呢，就用了QAT这种感知训练方法，直接把原本的模型变成了六分之一那么大。这个技术呢，就叫HY团队首创的2Bit端侧量化方案。 现在市面上有些手机应用都没它小呢，把这个模型放在各种消费级硬件里就特别方便。在真正的端侧设备上跑起来，生成速度还快了2到3倍。这可是业界首个实现2bit产业级量化的端侧模型实践。HY-1.8B-2Bit还给保留了原版的思维链能力，能够处理不同难度的任务。 现在大家都希望把大语言模型给用在手机、耳机甚至智能家居上。因为很多应用对私密性要求高，也需要离线部署才行。Huggingface和Github这两个开源社区呢，也已经把这个HY-1.8B-2Bit模型给放上去了。至于记者罗亦丹报道的内容吧，就是告诉你腾讯混元这次的突破咯。