压缩算法为大语言模型“瘦身”
小字号
原标题：压缩算法为大语言模型“瘦身”
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA，能精简大型语言模型（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上高效使用。
团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。（记者 刘霞）
(责编：杨虞波罗、申佳平)
分享让更多人看到
推荐阅读
小雪节气农事忙
秋收冬藏又一年。进入小雪节气，全国秋冬种已近尾声，各地农民抢抓农时，进行田间管护，为新一季丰收夯实根基、孕育希望。…
税收数据显示小微企业经营持续向好 活力有效释放
小微企业和个体工商户（以下简称小微企业）是国民经济的“毛细血管”，是扩大就业、繁荣市场、改善民生的重要支撑。近年来，党中央、国务院持续实施一系列减税降费政策，支持小微企业纾困解难、恢复发展，税费优惠减免额从2019年的0.58万亿元增至2023年的1.3万亿元，年均增长22.1%，五年累计减免超5万亿元。…
