Forwarded from Solidot
Google TurboQuant AI 压缩算法大幅减少大模型内存使用
2026-03-29 19:05 by 人猿泰山之英雄归来
Google 研究院发布了压缩算法 TurboQuant,能在大幅减少大模型内存占用的同时提高速度和维持精度。TurboQuant 旨在减小键值缓存的大小,被称为是储存重要信息减少再计算的“数字查找表(digital cheat sheet)”。大模型并不理解任何东西,它通过映射词元文本语义的向量去模拟对事物的理解。大模型的向量通常使用 XYZ 坐标进行编码,而实现 TurboQuant 压缩的系统将向量转换为笛卡尔坐标系的极坐标,向量被简化为两类信息:半径(核心数据强度)和方向(数据含义)。如果使用 XYZ 坐标编码向量,那么特定位置可以编码为“向东走 3 个街区,向北走 4 个街区”,采用笛卡尔坐标编码向量,那么同样的信息编码为“沿 37 度方向走 5 个街区” ,简化了空间节省了计算。Google 的早期测试显示,TurboQuant 在部分测试中实现了 8 倍的性能提升,内存占用减少到原来的六分之一,同时质量没有损失。实现 TurboQuant 算法将有助于降低 AI 模型的运行成本和内存占用,但也可能推动更复杂模型的出现,因此对将降低内存价格可能没有什么效果。
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
https://arxiv.org/abs/2504.19874
#Google
2026-03-29 19:05 by 人猿泰山之英雄归来
Google 研究院发布了压缩算法 TurboQuant,能在大幅减少大模型内存占用的同时提高速度和维持精度。TurboQuant 旨在减小键值缓存的大小,被称为是储存重要信息减少再计算的“数字查找表(digital cheat sheet)”。大模型并不理解任何东西,它通过映射词元文本语义的向量去模拟对事物的理解。大模型的向量通常使用 XYZ 坐标进行编码,而实现 TurboQuant 压缩的系统将向量转换为笛卡尔坐标系的极坐标,向量被简化为两类信息:半径(核心数据强度)和方向(数据含义)。如果使用 XYZ 坐标编码向量,那么特定位置可以编码为“向东走 3 个街区,向北走 4 个街区”,采用笛卡尔坐标编码向量,那么同样的信息编码为“沿 37 度方向走 5 个街区” ,简化了空间节省了计算。Google 的早期测试显示,TurboQuant 在部分测试中实现了 8 倍的性能提升,内存占用减少到原来的六分之一,同时质量没有损失。实现 TurboQuant 算法将有助于降低 AI 模型的运行成本和内存占用,但也可能推动更复杂模型的出现,因此对将降低内存价格可能没有什么效果。
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
https://arxiv.org/abs/2504.19874
❤4👏2
Telegraph
5 亿变 300 亿:加密疯子 SBF 如何投中了 AI 时代最值钱的公司?
Anthropic 如今是这个星球上最重要的 AI 公司,或许没有之一。 它的 Claude 大模型部署在五角大楼、美国情报机构和国家实验室,被美军用于对伊朗军事打击的情报分析和目标筛选。 它的年化收入在不到三年内从零飙升至 140 亿美元,2026 年 2 月,Anthropic 完成 300 亿美元的 G 轮融资,投后估值突破 3800 亿。亚马逊、谷歌、英伟达、微软,科技巨头排着队往里塞钱。 过去几周,它正在与五角大楼就 AI 武器化问题进行一场全世界都在关注的博弈。 而这家公司的早期融资史里,有…
5 亿变 300 亿:加密疯子 SBF 如何投中了 AI 时代最值钱的公司? | 原文
Sam Bankman-Fried 现在在联邦监狱。最早 2049 年出狱。到那时他 57 岁。
在他坐牢的这段时间里,那家他用赃款投资的 AI 公司估值已经突破了 3800 亿美元,正在与五角大楼就 AI 武器化问题进行一场举世瞩目的博弈,它的创始人成了《纽约时报》和国会山的常客。如果一切合法,那笔 5 亿美元赌注足以让 SBF 成为这个时代回报收益最高的风险投资人之一
MJJ出征
像不像艾尔登法环😅 歌有点四不像 根本不对味 难评 https://t.me/kfcfoodcourt/80275
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣12🌭3😭3🫡3
贪小便宜是这样的
正价付费买不起,投机取巧玩合租😅
基本上玩中转的99%都是参水。中途换个模型,上下文丢失,直接影响你的结果偏差😏 。(给你一种哦,好厉害,但是又达不到完美的效果。🤡 )
为认知买单🤌
https://x.com/i/status/2038293604897378815
正价付费买不起,投机取巧玩合租
基本上玩中转的99%都是参水。中途换个模型,上下文丢失,直接影响你的结果偏差
为认知买单
https://x.com/i/status/2038293604897378815
Please open Telegram to view this post
VIEW IN TELEGRAM
X (formerly Twitter)
Gorden Sun (@Gorden_Sun) on X
在L站拼了个Claude Max的车,450块一个月,675美元的额度,价格是个人开车的合理价格。
结果第一天就被我测出来掺假,混了逆向Cursor网页版的免费Sonnet,对方无话可说,麻溜退款了。
本想着L站程序员忠厚谦良,比中转站肯定要好些,没想到水也这么深。
结果第一天就被我测出来掺假,混了逆向Cursor网页版的免费Sonnet,对方无话可说,麻溜退款了。
本想着L站程序员忠厚谦良,比中转站肯定要好些,没想到水也这么深。
😁3❤2🤡1
This media is not supported in your browser
VIEW IN TELEGRAM
Telegram 官方宣称其数据中心(Data Center,简称 DC)主要分布在世界各地的 5 个区域,以保证全球访问速度。这 5 个 DC 编号为 DC1-DC5,
分布如下:
DC1 和 DC3 位于美国迈阿密,
DC2 和 DC4 位于荷兰阿姆斯特丹,
DC5 位于新加坡。
数据中心分布详情:
DC1 (迈阿密, 美国): 主要处理美洲部分区域数据。
DC2 (阿姆斯特丹, 荷兰): 处理欧洲及周边地区数据。
DC3 (迈阿密, 美国): 同样位于迈阿密,分担数据压力。
DC4 (阿姆斯特丹, 荷兰): 同样位于阿姆斯特丹,处理欧洲数据。
DC5 (新加坡): 主要处理亚洲区域的用户数据。
😁10❤1🤣1