内容详情
围绕文章主旨、阅读节奏与信息层次进行优化,让读者进入正文前就能快速理解主题重心与阅读价值。
大模型一定要一个字一个字往外蹦吗?他们押注四年,给出了另一种答案
编辑|张倩 2008 年,英伟达曾用一场颇为疯狂的实验,向人们展示并行计算的威力。 在现场,一台绘画机器人按部就班、一个像素接一个像素地绘制出一幅「笑脸」简笔画。 但接下来,画风突变。工作人员启动了一台布满 1100 个彩弹发射管的巨大装置。伴随着一声巨响,上千颗彩弹几乎同时射出,在画布上留下密密麻麻的颜料痕迹。一幅《蒙娜丽莎》就这样瞬间出现,用时 80 毫秒。 两种绘画方式,展示了串行与并行的巨大差异。 18 年后,并行计算早已成为人工智能发展的重要基础,英伟达的 GPU 支撑起了今天的大模型训练和推理。但有意思的是,绝大多数主流大语言模型仍然沿用着一种相当「串行」的文本生成方式。 它们像当年那台绘画机器人一样,从左到右,一个 Token 接着一个 Token 地生成答案。即使拥有再强大的计算硬件,后一个 Token 的生成也通常需要等待前一个 Token 完成。 那么,有没有可能 让语言模型也像那台彩弹装置一样,同时生成多个 Token 扩散语言模型(dLLM)正在探索这样的可能性,而且这个方向在近两年变得备受关注,相关模型的表现也是一再刷新大家的认知。 最近,这一方向的实力玩家、创下全球扩散语言模型最大规模融资纪录的公司 —— 扩散智能(DiffuSpace) 公布了一项新进展,发布了 开源扩散语言模型 Clover-35B-A3B-Preview 。官方数据显示,这一新模型 在多项能力评测中达到或超过同规模自回归模型,同时实现了更快的生成速度,而且是在智能体编程和工具使用这类较难的任务上 之前,大家总是调侃这类模型「别管对不对,你就说快不快吧」,也就是速度和质量总是顾此失彼。但这次,Clover 35B-A3B 在它的尺度上证明了: 高速生成与高性能,可以共存于同一模型。 看来,扩散语言模型这个赛道的前沿,又被往前推了一步。 这次,dLLM 和自回归模型 站上了同一起跑线 在深入细节之前,我们先感受一下 Clover 35B-A3B 是怎么工作的: 视频链接:https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg 在这个 demo 里,模型被要求用单个 HTML 文件模拟一个桌面环境,支持窗口拖动,并能打开多个小应用。Clover 根据这条需求,生成了包含程序坞、窗口系统以及记事本、计算器、时钟、天气和设置等应用的模拟桌面。过程中,Clover 在多个位置同时、快速生成,不慢放都看不清楚。 实测数据显示,Clover 在单张 GB300 上整体生成速度达 680 tokens/s,在 H200 上为 515 tokens/s, 高于同规模 Qwen 模型加 DFlash2 加速方案 的 365 tokens/s。 这一速度优势在多个场景中都得到了验证: 视频链接:https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg 模型被要求查询「从 CMU 到最近的 Wendy's 要开多久」。地图搜索不带位置信号,直接搜店名会跳到缅因州,Clover 识别出结果跑偏,逐步加入城市和邮编改写检索,页面卡住后两次重置重来,最终用 28 步、169.9 秒找到正确门店;对照的 Qwen3.6 Flash 用满 30 步、耗时 578.3 秒,仍停留在 347 公里外的一家店,未通过任务评判。 视频链接:https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg 一条复合空管报文,需要并行解析出禁飞区解除、航点修改、任务分配等五项任务。Clover 用 0.97 秒同时给出五项正确结果,Qwen 用了 3.78 秒,还把其中一项测绘任务误解析为医疗任务。 而且,它不仅是快,在智能体编程和工具使用等任务上也是真能打。 在六项 Agent 评测上,Clover 全部拿到所列模型中的最高分 ,其中 SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3,同时超过了同为扩散路线的前沿模型 LLaDA 2.2 flash、闭源的 Mercury 2.5,以及同尺寸的自回归模型 Qwen3.6-35B-A3B。要知道,拿到对比的这些模型本来就是很能打的,用来测试的 benchmark 在各家模型发布时也被广泛引用,含金量没有争议。 这组数字的意义还在于:此前 dLLM 一直在自回归身后追赶,之前一些比较知名的模型要么跑不了 Agent 任务,要么根本不开源。Clover 是 开源阵营里第一个在 Agent 这个「自回归主场」正面取胜的扩散模型 要知道,这类能力直接对应真实场景 —— 客服机器人查数据库、车载系统控制车窗,背后都是模型发出工具调用指令;而
推荐阅读
Search
热点新闻
我决定:职工医保也不交了
文丨魏春亮 昨天的文章《我决定:不交养老保险了》发出去后,有很多读者朋友给我留言,建议我交 居民医保 。 然后,我一个好友也跟我说,他在上海也不交养老两年了,而且他也只交居民医保。 然后,我就花了一晚上了解了一下居民医保,然后决定: 暂停交职工医保,改交居民医保。 下面,我把我了解到的一些信息分享给大家,希望能给手头不宽裕的朋友们一点帮助。我查询的信息都是以南京为基础的,你可以根据自己的情况去了解
巴克利放话勇士要打附加赛:吉米二月才回来
揭幕战,勇士在洛杉矶被打得毫无还手之力, 105比127 。转播镜头扫到替补席,库里和吉米·巴特勒并排坐着,巴特勒穿着便装,两人面无表情看着分差一点点被拉开。这张图在赛后迅速传开。 《Inside the NBA》节目里,查尔斯·巴克利没有绕弯子。“行尸走肉,”他说,“我们麻烦大了。”肯尼·史密斯当场反驳:“等吉米回来就不是这样了。”厄尼·约翰逊也提醒,这只是赛季第一场。巴克利不接受这个说法,他给
57岁女星伍咏薇自曝年轻时参加名流聚会,被一位男名人强行拉入洗手间险遭侵犯,全程无人营救吓破胆
近日,由香港知名女星伍咏薇主持的访谈节目《九运会客室2》最新一期播出。 在最新一期中伍咏薇罕见的爆料了一段自己早年经历的痛苦的事情,她差点被人侵犯了。 伍咏薇回忆称,当时她受邀参加了一个女名人组织的卡拉OK局,当时现场很多圈内名流,而这些人里有一个男名人在圈内是出了名的品行不端。 她没想到这位男名人胆子那么大,在聚会上就敢对她下手。 这位男名人直接强行将她拽进了洗手间,随后强行把她抱到洗手台上,解
巴萨边锋点名英超一人:他去西甲照样能“做菜”
巴塞罗那边锋安东尼·戈登本周接受ESPN采访时被问到:哪位英超球员去了西甲也能“做菜”(cook,意为大杀四方)。短暂犹豫后,他给出了哈兰德的名字。 戈登的判断很直接:这位曼城前锋的进球能力放到西甲同样管用。素材中他的原话指向哈兰德“继续在门前肆虐”的能力,这也是他给出的唯一人选。 哈兰德近期在西班牙媒体上重新成为热门名字。素材提到,在曼城被认定违反英超财务规则超过100项之后,这位挪威前锋很快被
雷迪克:东契奇也可能打出12投2中 对手会根据他的表现调整防守
直播吧11月3日讯 NBA常规赛,湖人138-117大胜热火。赛后,湖人主帅雷迪克接受了记者采访,谈到了对手针对东契奇采取的包夹策略。 记者问道:“当格莱姆斯、塞布尔或者马穆凯拉什维利能够命中空位三分时,是否会让对手不再继续对东契奇进行包夹?” 雷迪克表示:“每场比赛的情况都会有所不同。你知道,如果东契奇开局12投2中,他毕竟也是人,这种情况完全可能发生。那样的话,对手可能就不会对他采取高强度夹击