有一家叫MatX的公司,它是专门搞LLM这块的AI芯片厂,由两位以前在谷歌搞TPU的工程师创办的。他们刚刚搞定了一笔融资,数额高达5亿美元,把世芯的AIchip、美满的Marvell还有一些投资人都给拉进来了。这家公司正在折腾一块叫MatX One的芯片,这块芯片的设计很特别,用的是能拆开的脉动阵列,既把大型阵列的能效和好占地方给保留下来,又兼顾了小型阵列那种灵活用起来痛快的感觉。他们还给这块芯片配了个SRAM的设计来压低延迟,再加上HBM的方案来增加上下文长度。这么搞下来,这块芯片号称能把业界领先的LLM吞吐量给拉满,延迟表现也跟那些主要用SRAM的芯片差不多。不管是训练、预填充、推理解码还是强化学习这些场景,它都能适应,把LLM的使用成本给降下来不少。