Google TurboQuant AI 压缩算法大幅减少大模型内存使用

2026-03-29 19:05 by 人猿泰山之英雄归来

Google 研究院发布了压缩算法 TurboQuant，能在大幅减少大模型内存占用的同时提高速度和维持精度。TurboQuant 旨在减小键值缓存的大小，被称为是储存重要信息减少再计算的“数字查找表（digital cheat sheet）”。大模型并不理解任何东西，它通过映射词元文本语义的向量去模拟对事物的理解。大模型的向量通常使用 XYZ 坐标进行编码，而实现 TurboQuant 压缩的系统将向量转换为笛卡尔坐标系的极坐标，向量被简化为两类信息：半径（核心数据强度）和方向（数据含义）。如果使用 XYZ 坐标编码向量，那么特定位置可以编码为“向东走 3 个街区，向北走 4 个街区”，采用笛卡尔坐标编码向量，那么同样的信息编码为“沿 37 度方向走 5 个街区” ，简化了空间节省了计算。Google 的早期测试显示，TurboQuant 在部分测试中实现了 8 倍的性能提升，内存占用减少到原来的六分之一，同时质量没有损失。实现 TurboQuant 算法将有助于降低 AI 模型的运行成本和内存占用，但也可能推动更复杂模型的出现，因此对将降低内存价格可能没有什么效果。

https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
https://arxiv.org/abs/2504.19874

#Google

Google 发布开放权重模型 Gemma 4

2026-04-03 14:25 by 太空战

Google 发布了最新的开放权重模型 Gemma 4，上个版本 Gemma 3 是在一年前发布的。Gemma 4 有四个版本，设计能在本地设备上运行：参数多的两个版本 26B Mixture of Experts 和 31B Dense 设计能在 80GB Nvidia H100 GPU（售价约 20 万人民币）上以 bfloat16 格式未量化运行，量化后降低精度则能使用消费级 GPU；参数少的两个版本 Effective 2B (E2B) 和 Effective 4B (E4B)设计能在移动设备上运行。Google 称它的 Pixel 团队与高通和联发科密切合作，为智能手机、Raspberry Pi 和 Jetson Nano 等设备对这些小模型进行了优化。Gemma 4 采用了 Apache 2.0 授权，在商业用途限制上更灵活。

https://deepmind.google/models/gemma/gemma-4/

#Google