PrismML押注“小型大模型”:让高性能推理模型走进电脑与智能手机

AI前沿58分钟前发布 yizz
1,045 0 0

为什么值得关注这家AI实验室?

如果你还没有听说过AI实验室PrismML,现在或许应该开始关注它。原因并不是这家公司已经筹集了巨额资金——目前,PrismML只完成了一轮2225万美元的种子轮融资——而是因为它聚集了一批技术背景出色的研究人员,并正在开发一项可能改变行业使用方式的技术。

PrismML想改变什么?

PrismML的核心判断是:真正具备能力、性能出色、能够进行推理的大型语言模型,并不一定必须拥有庞大的体积。

传统印象中,模型能力越强,往往意味着模型规模越大、运行所需的内存越高,也越依赖数据中心和高性能设备。但PrismML正在尝试反过来做:通过模型压缩技术,把具备推理能力的模型做得足够小,让它们能够在个人电脑,甚至是智能手机上运行。

Bonsai 2 27B如何实现模型压缩?

周四,PrismML发布了其模型系列的最新版本Bonsai 2 27B。这款模型以阿里巴巴广泛使用的开源模型Qwen3.8 27B为基础,通过压缩技术将其压缩到5.9GB

按照这一体积计算,Bonsai 2 27B已经小到可以装入一台个人电脑,甚至有可能在高端智能手机上运行。与原始模型相比,它的内存占用减少了约9倍至10倍

这意味着,模型压缩并不只是简单地减少文件大小,而是试图在模型性能、推理能力与设备负担之间找到新的平衡。如果这一方向能够持续发展,用户未来或许不必总是依赖远程服务器,就能在本地设备上使用更具能力的AI模型。

PrismML背后的技术团队是谁?

PrismML由一批加州理工学院研究人员创立,目前由加州理工学院教授Babak Hassibi领导。Hassibi同时也是压缩技术领域的专家。

从团队构成来看,PrismML的技术路线并非单纯追逐更大的模型规模,而是把重点放在如何压缩模型、降低运行门槛上。这也解释了为什么这家尚未筹集大量资金的实验室,仍然可能因为技术方向而受到关注。

小型推理模型可能带来哪些变化?

如果PrismML的技术能够进一步成熟,AI模型的使用方式可能会出现变化。过去,很多高性能模型需要依靠云端基础设施运行;而更小的模型则有机会直接部署到个人电脑和移动设备中。

本地设备运行模型,至少意味着AI应用可以朝着更轻量化、更便携的方向发展。用户不必首先考虑模型是否只能在大型服务器上运行,而可以更多关注它是否能够直接服务于日常设备。

不过,来源内容目前只明确介绍了模型的压缩规模与潜在设备适配能力,并未进一步说明Bonsai 2 27B在具体任务中的详细表现。因此,关于它能否在实际应用中全面替代更大型模型,还不能仅凭当前信息下结论。

PrismML是否正在与苹果洽谈?

目前有传闻称,PrismML可能正在与苹果进行洽谈。不过,PrismML首席执行官Babak Hassibi没有就此事向TechCrunch发表评论。

因此,这一消息目前只能作为未经确认的传闻看待,不能当作双方已经达成合作或正式推进项目的事实。

从“大模型”到“小型高性能模型”,AI竞争正在转向哪里?

PrismML所选择的路线,体现出一种不同于单纯扩大模型规模的思路:模型不一定越大越好,关键还在于能否以更低的资源消耗,保留足够的推理能力。

Bonsai 2 27B被压缩到5.9GB,说明模型压缩正在成为推动AI设备端应用的重要方向。它能否真正改变人们使用AI的方式,仍取决于后续的实际性能和应用效果,但至少,PrismML正在尝试回答一个清晰的问题:如果强大的推理模型可以变得足够小,AI是否就能离用户更近一些?

我认为:人们总爱把庞大当作强大,把复杂当作先进,仿佛机器非得占满一间屋子,才配替人思考。PrismML却把模型压缩到电脑甚至手机能够承受的大小,像是给笨重的巨人削去了多余的盔甲。真正有价值的技术,也许不是让东西越来越庞大,而是让它在不失去能力的同时,能够安静地走进每个人手边的设备里。至于它最终能走多远,还要交给实际使用来回答。

#AI技术

© 版权声明

相关文章