在AI领域持续跟进,竟也会跟不上节奏。
谁能料到,原本用于图像和视频生成的“扩散模型”,如今也能编写代码、生成网页、调用工具,扮演起Agent角色!
就在近期,扩散智能推出了全新的扩散语言模型——
Clover-35B-A3B-Preview。
尽管名称中多了“扩散”一词,但实际使用中,无论是写代码、操作网页、调用工具,还是生成HTML,其用法与传统大语言模型并无二致。
我个人的第一体验就是“快”。
例如,让它生成一个太阳系模拟器,Clover仅思考约1秒,随后在4-5秒内,一个可交互的太阳系模拟器便呈现出来。
再比如,我提供一堆简历信息,要求整理成LaTeX格式的简历代码,仅需十几秒便完成。
说实话,用过GPT的用户都明白盯着“正在思考”等待的煎熬,这也是近期主打快速决策的Jev受到关注的原因。
而提到Jev,Clover这次专门与其进行了速度对比。
在网页Agent评测WindTunnel的49个任务中,每个任务尝试3次,Clover的中位执行时间为1.52秒,Jev搭配Mercury 2.5组合为3.21秒,耗时减少一半以上。
尝试成功率也略高,分别为98.6%和95.9%。
对比同表中的Gemini,速度更是快出数倍!
好家伙,扩散模型这是要挑战自回归模型吗?
会做Agent任务的扩散模型
回到模型本身,Clover-35B-A3B-Preview采用MoE架构,总参数达350亿,每个token激活约30亿参数,支持思考模式。
它进一步将团队的扩散语言模型,从此前Dream 7B的70亿参数,提升至350亿总参数规模。
更关键的是,参数量增加后,Clover的速度并未变慢,在同尺寸对比中超越自回归模型。
除了交互页面和代码生成,官方演示中,Clover还展示了复杂任务、WebUI生成等Agent能力。
Clover可通过WebMCP连续处理六项任务,涉及开票、课程报名、金额汇总、活动状态查询,以及客户和发票信息查询。
从对比视频可见,Clover不仅成功完成任务,执行速度也显著领先于Gemini 3.6 Flash。
在线上购物场景中,Clover能按要求找到指定款式、黑色、L码的T恤,加入购物车,填写访客信息,并完成测试结账流程。
老实说,这种连续任务处理是本次演示的亮点。
要知道,扩散语言模型虽有并行生成的速度潜力,但以往在Agent任务中表现不够稳定:
模型工具调用格式可能出错,或在同一步骤上反复尝试,未能根据返回结果调整动作。
Clover这次的进步,体现在这些连续操作中:调用工具、读取反馈、继续执行,直至完成任务。
具体到Benchmark,根据团队公布的数据,Clover在工具使用相关的τ³ Overall和BFCL-v4评测中,分别获得65.3和67.9,位居前列。
Agent任务之外,再看代码。
我让Clover生成了一个个人Agent的网页界面,看起来有模有样,整个生成过程仅十几秒。
在代码评测方面,Clover也交出了一组亮眼成绩。
在考察真实代码仓库问题解决能力的SWE-bench Verified上,它获得73.6;在考察终端任务执行能力的Terminal-Bench 2.1上,获得51.7。
可以说,从生成交互页面,到调用工具、跑完业务流程,再到代码评测,作为扩散语言模型的Clover,这次确实承担了不少Agent任务。
这就有意思了。印象中负责去噪生图的扩散思路,在语言模型中究竟如何生成文字、写出代码?
难道这些演示真是AIGC生成的?
扩散语言模型,什么来头?
通常,我们熟悉的自回归语言模型根据前文预测下一个token,逐个生成,类似“词语接龙”。
这里的token可简单理解为模型处理的文字片段。
与自回归模型的逐个串行生成不同,扩散语言模型采用另一种方式:允许多个位置同时更新,经过几轮完善,逐步得到结果。
这里的扩散去噪,可理解为将遮挡或扰动的内容逐步恢复为符合上下文的文字。
具体到Clover,它采用块扩散:将待生成内容分成若干块,块与块依次推进,块内多个位置并行更新、相互参考。
这样一来,一轮计算有机会推动多个位置生成,减少逐个生成带来的等待。
但问题在于,能同时生成不代表一轮就能完成。
因为扩散模型通常需要多轮去噪,才能逐步确定结果。轮数过少,内容可能未调整好;轮数过多,计算开销增加。
到了代码和Agent任务,上下文会不断变长。之前的要求、已执行的操作、工具返回的结果,都可能影响后续步骤,历史信息的保存和读取也成效率问题。
Clover的改进思路,是让历史记忆和当前生成各司其职。
它围绕块扩散重构了门控Delta网络(GDN):已生成的上下文被压缩进持续更新的状态,供后续步骤读取;当前生成的块通过双向注意力,让块内token相互参考。
同时,Clover将历史记忆的读出作为独立信息单元,与当前token一起参与注意力计算,让模型学习权衡前文与当前内容;再通过可学习的块大小校准,减少块变大后历史信息被稀释的问题。
换句话说,这些调整旨在让并行生成、历史信息利用和计算效率更好配合,这也是Clover将扩散语言模型推进到代码和Agent任务的关键。
除了Clover,扩散语言模型近年受到关注,主要源于其相对于自回归的两大优势:
一方面,扩散语言模型允许多个位置同时生成,减少逐token生成带来的串行等待。对于需反复生成代码、调用工具的Agent,这种潜力尤其值得关注。
另一方面,生成过程中,前后内容可相互参考。在双向建模设计下,多个位置能在迭代中共同调整,为处理内容依赖关系提供另一种方式。Clover当前块内的交互就是其中一种实现。
围绕这些可能性,学术界和产业界已给出不同尝试。
何恺明今年参与的ELF,尝试在连续嵌入空间中生成语言;谷歌推出的DiffusionGemma,探索并行文本生成;国内大厂也在研究面向代码任务的扩散语言模型。
具体方法各不相同,大家都在尝试将另一种生成方式转化为可用能力和效率。
Clover这次,则把自己的进展放入代码、工具调用和连续任务中,交给用户检验。
从DiffuSeq到Clover,扩散智能的下一步
最后,让我们回到Clover背后的团队——
扩散智能。
据悉,扩散智能由香港大学孔令鹏教授及其博士生龚珊三、叶佳成联合创立。团队成员对扩散语言模型的探索可追溯到2022年。
那一年,他们提出DiffuSeq,研究如何用扩散模型完成序列到序列的文本生成:给定一段文字,再按条件生成另一段文字。
当时要克服的挑战,就是将擅长处理图像等连续信号的扩散方法,应用于离散的自然语言。
到2025年4月,团队核心成员参与推出Dream 7B,将研究推进至70亿参数语言模型。
根据当时公布的结果,Dream 7B在通用、数学和代码任务上,取得与同规模自回归模型可比的表现,并展示了规划能力和生成顺序上的灵活性。
再到这次的Clover,模型规模继续扩大,写代码、调用工具、连续执行任务,都成为重点展示内容。
这条路线,从最初研究如何生成文字,一步步走到如何将复杂任务做对、做快。现在,团队还在向多模态和端侧延伸。
据介绍,Clover后续也将推出多模态版本,团队正在推进扩散语言模型与多模态理解及动作生成的结合,并持续开展端侧场景的适配与验证。与Acrab的合作,则在推进面向端侧场景的系统适配和软硬件协同验证。
按照团队计划,接下来还会继续探索更大规模模型,提高长程任务稳定性,并通过推理优化、量化和部署适配,推进端侧应用。
最后的最后,不妨借这次新发布的Clover开个脑洞:
人类思考时,究竟是一句接一句往下推,还是先有模糊整体,再逐渐补全细节——
大脑究竟更像自回归,还是扩散?
本文来自微信公众号“量子位”(ID:QbitAI),作者:关注前沿科技,36氪经授权发布。