这项由清华大学主导完成的征询以预印本样式发布于2026年5月，论文编号为arXiv:2605.01711，感兴致的读者可通过该编号在arXiv平台查阅好意思满原文。

在当代东谈主工智能的天下里，有一种叫作念"Transformer"的神经蚁集架构简直总揽了悉数范围——无论是让机器读懂翰墨、识别图片，如故生成视频，它齐是中枢引擎。这种架构告成的秘要，东谈主们一直观得藏在一个叫作念"详细力机制"（Attention）的安装里。关联词，清华大学的征询团队对这个"知识"提议了一个颠覆性的疑问：淌若咱们对详细力机制的领会自己就错了呢？

他们的谜底不仅从头讲明了详细力机制的使命旨趣，更在此基础上蓄意出一种全新的架构——WeightFormer，让AI在处理图像时速率大幅教训，而准确率简直不打扣头。这项征询的真理真理，大略不亚于发现了一条比高速公路还快、还省油的新路。

一、为什么原来的"详细力"步履既机灵又艰辛

要领会这项征询措置了什么问题，得先从详细力机制提及。不妨用一个课堂场景来领会：有一位诚委果转换一张相片里的试卷，想知谈"这谈题和哪谈题最关连"。传统的详细力机制的作念法，即是让诚实把相片上的每一谈题齐两两比较一遍——第一题和第二题比，第一题和第三题比，第一题和第四题比……依此类推，把悉数可能的组合齐过一遍。这个过程叫作念"显式详细力筹谋"，用数学言语说，即是筹谋一个N×N的矩阵，其中N是图片被切成的小块数目（称为"token"，不错领会为相片上每一个小格子）。

问题在于，当图片变大，格子数目增多，这种两两比较的使命量会以平淡速率爆炸式增长。格子数目翻倍，筹谋量就酿成四倍；格子数目酿成十倍，筹谋量就酿成一百倍。这即是所谓的"二次方复杂度"。处理一张平凡图片还好，一朝遇到高分辨率图像，或者需要同期处理好多图片，这个支拨就变得极其不菲，就像要求那位诚委果期末考试时把全校悉数同学的试卷齐两两对比一遍。

以前十年，无数征询者苦思冥想想办法给这个两两比较的过程"减负"——有东谈主让诚实只看部分题主见组合（稀薄详细力），有东谈主让诚实把相似题目归堆再比较（低秩雷同），有东谈主让诚实用更快的雷同步履估算相似度（核步履线性详细力）。但悉数这些起劲，齐是在想办法把那张两两比较的大表格算得更快、更省力，而莫得东谈主质疑过：这张大表格自己，简直是必要的吗？

这恰是清华大学征询团队切入的角度。他们发现，群众一直在优化一谈诞妄方朝上的难题。

二、一个改变游戏规定的新视角：详细力其实是一个"动态换装"的神经蚁集

征询团队作念了一件数学上相配小巧的事情：他们从头注目了详细力机制的筹谋公式，发现从另一个角度看，它的结构和另一种绝对不同的东西绝对吻合。

详细力机制的中枢公式是：先把输入数据诀别变换成Q（查询）、K（键）、V（值）三组数据，然后筹谋Q和K的相似度，再用这个相似度对V进行加权乞降，得到最终输出。大多数东谈主看到这里，会把它领会为一个"加权投票"的过程：K和V就像一册百科全书，Q是查询词，系统凭据查询词找到最关连的百科要求，把它们加权搀和起来给出谜底。

但征询团队换了一个角度：关于输入数据中的纵情一溜（也即是一个格子的特征向量），悉数这个词详细力筹谋过程其实等价于把这个向量送进一个两层的小神经蚁集（MLP）里走一遍。这个小神经蚁集的第一层参数是K（键矩阵的转置），激活函数是Softmax，第二层参数是V（值矩阵）。

这听起来可能有点绕，打个比方会更直不雅。把详细力机制比作一家餐厅的厨房——传统领会是：顾主（Q）先看菜单（K）找到最心爱的菜，然后厨房凭据点单比例把不同食材（V）搀和配给顾主。这是"显式点单-备菜"的过程。而征询团队的新领会是：这家餐厅的厨师会先把今天悉数顾主的口味喜好（悉数这个词输入序列）统计一遍，然后据此现场配制出一套"本日特供食谱"（K和V），每位顾主进门后平直按照这套食谱加工，不需要再作念两两的点单比较。K和V不再是让顾主相互比较喜好的器用，而是把今天举座偏好压缩进去的"厨房设立"。

这个瞻念察的中枢在于：K和V是由悉数这个词输入序列动态生成的，它们自己就佩戴了全局信息。当你把纵情一个格子的特征向量送进这个"以K和V为参数的小蚁集"里，输出撤消当然就融入了来自全图的高下文信息，而不需要显式地去筹谋这个格子和其他悉数格子之间的相似度。

用这个厨房譬如接续蔓延：要害在于菜谱是凭据今天全体顾主的喜好动态定制的，是以即使每位顾主齐只是"按菜谱吃饭"，吃到的滋味也一经隐含了全体顾主的集体偏好。全局信息的整合，发生在菜谱制定阶段，而不是每位顾主进门时的两两比较阶段。

三、从领会到行动：淌若全局信息不错藏在参数里，那何须还要那张大表格？

这个新领会坐窝引出了一个慷慨东谈主心的问题：既然全局信息不错通过"动态生成参数"的方式隐含地传递，那咱们能不成透澈抛开那张不菲的N×N比较表格，单纯靠动态参数来完周至局建模？

这恰是WeightFormer要考证的中枢假定。征询团队决定把"动态参数生成"这个想路移植到另一种更轻量的蚁集中构——卷积神经蚁集（CNN）中去。CNN本来是处理图像的传统选手，每个卷积操作只看图片的一小块区域，莫得自然的全局视线。但淌若给CNN的每一层配上"凭据整张图片动态调度参数"的智商，它是否也能赢得全局感知力？

要竣事这少许，发轫需要措置一个工程问题：若何把整张图片的信息压缩成一套固定大小的参数？详细力机制在原始蓄意中，K和V的大小是随图片格子数N变化的（K是d×N大小，V是N×d大小），是以筹谋量是N的平淡。要把复杂度压到线性，就必须让参数生成过程与N无关。

征询团队探索了两大类压缩决策，并围绕每类蓄意了多种具体计谋，在接下来的实验中逐个慎重。这些计谋应用于两类蚁集层：线性层（留意在不同通谈之间搀和特征，不作念空间操作）和深度可分离卷积层（留意在空间上捕捉局部纹理和体式，但正本只看小区域）。

四、为线性层动态"换菜谱"的各式决策

先看线性层的动态参数生成。线性层的作用，不错领会为把一张图片每个格子的特征向量乘以一个变换矩阵，特别于对每个格子作念疏通的线性搀和。淌若这个变换矩阵是静态的，悉数输入图片齐用并吞套"配方"，就穷乏了对具体内容的适应性。淌若能凭据面前图片的举座内容动态调度这个矩阵，就能竣事隐式的全局信息整合。

最浅显的决策是用全局平均池化（GAP）：把图片悉数格子的特征向量取平均，开云体育(中国)官方网站压缩成一个单一的向量，再通过一个小神经蚁集映射成变换矩阵的调度量。这就好比厨师先尝一口今天悉数食材混在一齐的空洞滋味，然后据此调度举座的调味计谋。这个步履筹谋极为低廉，但症结是压缩得太刻毒，细节信息可能大批丢失。

更详细的决策运用"关连矩阵"（X的转置乘以X，即X?X）。这个矩阵的大小是d×d（d是特征维度），与格子数N绝对无关，但它捕捉了悉数格子之间的特征共现统计——不错领会为一份"今天悉数顾主口味偏好的二阶统计选录"。从这个矩阵开赴，征询团队挨次尝试了线性映射、加入非线性激活函数的版块、加入低秩领会的深层版块，以及一种被称为"双边激活"的结构——后者把参数瞻望分红两个互补分支，诀别作用在X和X?上，再组合起来。为了进一步缩小筹谋量，在筹谋关连矩阵之前，还会先用自适应平均池化把空间分辨率放松一半，过滤掉高频噪声。

实验撤消澄莹地清楚，这些计谋齐大幅超越了静态参数基线。静态CNN在ImageNet图像分类任务上的准确率是73.3%，而引入双边激活计谋后，只是让第一个线性层动态化，准确率就教训到了76.4%，而参数目和筹谋量的增幅相配有限。进一步把两个线性层齐动态化，能达到76.7%，但笼统量（每秒处理的图片数）有所下落，性价比相对较低。

五、为空间卷积层动态"换模具"的各式决策

深度可分离卷积层的动态化，则对应着为图片的空间特征索要换上"动态模具"。卷积操作的本色，是用一个小小的滤波器（比如3×3大小）在图片上滑动，检测局部纹理。这个滤波器淌若是固定的，不管什么图片齐用并吞个模具压；淌若能凭据图片内容动态调度，那它就能捕捉到更具适应性的特征。

征询团队蓄意了几种计谋。最基础的是全局池化决策：把全图特征压成一个向量，再生成卷积核的调度量，但这种方式丢失了空间结构信息。更机灵的"空间自适应决策"则是先把图片通过自适应池化缩放到方针卷积核相同大小的空间分辨率（比如3×3），再用一个小蚁集生成卷积核，这么既保留了空间结构的标的性，又与原始分辨率解耦。此外还有一种"幅度-标的解耦"计谋，诀别瞻望卷积核的强度（幅度）和体式（标的），再组合，灵感来自权重归一化的想想；以及平直用微型卷积蚁集处理特征图再池化的决策。

实验标明，空间自适应决策在准确率和遵守之间取得了最好均衡，比拟静态基线教训了约1.5个百分点，同期笼统量亏空最小。而把线性层的双边激活和深度卷积的空间自适应计谋组合起来，不错在小模子（约740万参数、1.2G浮点运算量）上达到76.8%的准确率，沙巴体育进一步超越单独使用任何一种计谋。

征询团队还通过一种叫作念"灵验感受野"（ERF）的可视化步履考证了全局建模的真实性。感受野不错领会为：图片中某个格子的输出特征，受到了多大范围内其他格子的影响。静态CNN只关爱小范围邻域，感受野图像呈现为中心一个亮点，周围绝对暗澹。而悉数动态参数计谋教化完成后，感受野图像齐酿成了整张图片均匀发光的气象，阐发每个格子齐能感知到来自全图纵情位置的信息。更真理的是，在教化初始前，动态模子的感受野和静态模子一样局限；教化事后才伸开为全局粉饰，阐发这种全局感知智商是模子通过学习主动赢得的，而不是结构上的硬编码。

六、WeightFormer：把动态参数计谋酿成一个好意思满的视觉模子

考证了各式动态参数计谋的灵验性之后，征询团队把最优计谋组合起来，构建了WeightFormer这个好意思满的视觉架构。架构蓄意上有一个要害考量：并非悉数层齐需要动态化。

讨论到动态参数生资自己是有筹谋代价的，淌若每一层齐动态化，参数目和运算量齐会显贵高潮，也不利于与其他模子进行公谈比较。征询团队作念了一系列消融实验，系统测试了诱骗不同数目动态块（N=4、6、8、11、14、17）时的后果。撤消清楚：当悉数17个块全部动态化时，模子尽然出现了教化不服定致使发散的问题，最终准确率只消70.2%；而N=11时准确率最高（76.9%），N=6时在准确率（76.3%）和笼统量（每秒3515张图片）之间取得最好均衡，这对应着每三个块中插入一个动态块的"稀薄漫衍"计谋。过多的动态层不仅代价怡悦，还会带来优化艰难，这个发现自己就颇耐东谈主寻味。

最终的WeightFormer每隔两个静态块就插入一个动态块，动态块内使用空间自适应的动态深度卷积和双边激活的动态第一线性层，其余层保执静态。悉数这个词架构的时候复杂度联系于输入序列长度是严格线性的，从根蒂上冲破了传统详细力的二次方瓶颈。

七、WeightFormer在各样视觉任务上的发达

征询团队在多个视觉基准任务上系统评估了WeightFormer，以考证动态参数计谋的通用价值。

在图像分类任务上，WeightFormer在ImageNet-1K数据集（包含128万张教化图片、粉饰1000类物体）上与多类主流模子正面交锋。WeightFormer-T（约700万参数，1.1G运算量）达到了76.3%的Top-1准确率，比拟同等范围的DeiT-T（72.2%）大幅当先，笼统量从3661张/秒教训到3515张/秒，收支无几。WeightFormer-S（2700万参数，4.4G运算量）达到81.3%，超越了DeiT-S（79.8%）和ConvNeXt-S（79.7%），且笼统量更高。特等值得一提的是WeightFormer-B：它在448×448的高分辨率输入下，以2700万参数和17.7G运算量达到了83.4%的准确率，绝对不弱于使用224×224输入、参数目高达87M的DeiT-B（81.8%）或ConvNeXt-B（82.0%），而在高分辨率下运行时的笼统量上风更为凸起。

在方针检测和实例分割任务上，基于COCO2017数据集的测试撤消相同令东谈主饱读动。以WeightFormer-T行为主干蚁集，合营CascadeMaskR-CNN框架，检测精度（AP^b）从DeiT-T的44.4%教训到45.0%，分割精度（AP^m）从38.1%教训到38.3%，而共筹谋量从594G下落到566G，主干部分的筹谋量从106G大幅削减到77G。这意味着用更少的算力赢得了更好的后果。

语义分割任务（ADE20K数据集，使用UperNet框架）的撤消也特别一致。WeightFormer-T以12M参数、38G共筹谋量（主干仅7G）达到40.7的mIoU，比同等参数范围的DeiT-T（39.2mIoU）越过1.5个点，且主干筹谋量仅为DeiT-T的64%。WeightFormer-S以47M参数达到45.6mIoU，超越DeiT-S的44.0，主干筹谋量相同更低（27G对35G）。

征询团队还将WeightFormer应用于图像生成任务，基于DiT框架进行类条件图像生成，用FID（FréchetInceptionDistance，数值越低暗示生成质料越高）来揣测后果。撤消清楚，WeightFormer在悉数设立下齐一致优于DiT和DiG基线，举例WeightFormer-S/2以5.0G运算量赢得61.39的FID，优于DiT-S/2（68.40）和DiG-S/2（62.06）；WeightFormer-B/2以20.0G运算量赢得38.21的FID，优于DiT-B/2（43.47）和DiG-B/2（39.50），而况筹谋量更低。这阐发动态参数计谋在生成类任务上相同收效，不局限于分类、检测等判别性任务。

八、高分辨率下的遵守上风有多显贵

WeightFormer最具劝服力的上风体面前高分辨率场景下。传统详细力机制的筹谋量随分辨率平淡增长，当输入图片变得很大时，内存和时候支拨会急剧膨大。征询团队专门测试了不同分辨率（从512×512到1248×1248）下WeightFormer-T和DeiT-T的笼统量与显存占用。

在512×512分辨率下，两者差距不大。但跟着分辨率高潮，差距赶快拉开。到1248×1248（每张图片被切成6084个格子）时，WeightFormer的笼统量是DeiT的7.7倍，而每张图片占用的显存比DeiT从简了91%。这意味着，用相同的硬件，WeightFormer不错处理多得多的高分辨率图片，或者用低得多的资本完成同等范围的任务。关于需要处理医学影像、卫星图片、高清视频帧等高分辨率任务的推行应用场景，这种上风是极为实用的。

九、动态参数的行径规章：越深处越活跃

征询团队还作念了一项颇为真理的分析：在WeightFormer教化完成后，检测每个动态层的"动态强度"——具体来说，是筹谋动态调度量（ΔW）和静态基础权重（W?）的范数之比r。这个比值越大，阐发动态部分对最终参数的孝顺越显贵；比值接近1，阐发静态参数仍然主导。

撤消清楚了一个澄莹的规章：关于动态线性层，各层深度的比值r齐在1隔壁保执安靖，变化幅度较小，阐发动态线性层在悉数这个词蚁集深度上齐提供了安靖且撤消的全局通谈搀和调度。而关于动态深度卷积层，情况毫不疏通：浅层的r值接近1，但跟着深度加多，r值急剧攀升，在最深处达到了20-30倍之高。这意味着，越会聚蚁集终端（语义抽象端倪更高的地点），空间自适应卷积的动态调度越热烈，动态参数简直绝对主导了空间特征索要。直观上这很合理：浅层处理的是初级纹理（角落、表情），静态卷积核就一经够用；深层处理的是高层语义（物体体式、场景类型），需要更强的内容自适应智商。

说到底，这项来自清华大学的征询作念了一件相配特真理的事情：它莫得试图把一个已有的东西作念得更快，而是从一个新的角度从头领会它，然后发现其实不需要原来阿谁东西的全部。详细力机制被从头领会为"动态参数生成+前向传播"的两步走，而这两步里，只消第二步（前向传播）是线性复杂度的，第一步（参数生成）才是二次方支拨的起头。一朝意志到这少许，用别的方式完成"参数生成"花样就成了合理的工程聘请。

固然，征询团队也坦诚地指出了面前使命的局限。悉数这个词评估齐在视觉任务上进行，这套步履是否相同适用于言语模子、语音识别或其他序列建模任务，面前还不澄莹。动态参数生成的抒发智商和归纳偏置，在表面层面也清寒真切分析。更值得关爱的是，动态参数的输入依赖性会使梯度传播愈加复杂，就怕会带来教化不服定的挑战（如悉数层齐动态化时出现的发散风光）。这些齐是将来征询需要濒临的课题。

不外，这项征询一经提供了一个伏击的见地考证：全局序列建模不是详细力机制的专利，只消能以某种方式把全局高下文压缩进蚁集参数里，再让输入数据通过这些参数进行变换，相同能竣事Transformer级别的全局感知智商——而况不错作念到线性复杂度。这条路是否能走得更远，是否能在言语、多模态等范围相同收效，大略会是接下来几年里颇值得关爱的标的。有兴致真切征询的读者，不错通过arXiv编号2605.01711找到原论文，代码也已在GitHub的LeapLabTHU/WeightFormer仓库公开。

Q&A

Q1：WeightFormer和平凡Transformer比拟，速率到底快若干？

A：在圭臬224×224分辨率图片下，WeightFormer和DeiT的速率周边。真实的差距在高分辨率下体现出来——当图片分辨率教训到1248×1248时，WeightFormer的处理速率是DeiT的7.7倍，显存占用减少91%。这是因为WeightFormer的筹谋量随图片大小线性增长，而DeiT是平淡增长，图片越大差距越悬殊。

Q2：WeightFormer毁掉了详细力机制，会不会在领会图片内容方面变弱？

A：从实验数据来看并莫得。WeightFormer-S在ImageNet分类上达到81.3%，越过了同范围的DeiT-S（79.8%），在方针检测、语义分割和图像生成任务上也齐优于或执平于对比模子。感受野可视化也清楚，教化后的WeightFormer能感知图片全局范围内的信息，并不比详细力模子差。

Q3：动态参数计谋为什么不把悉数层齐换成动态的，后果岂不更好？

A：征询发现并非如斯。当悉数17个块齐换成动态块时，模子教化会出现不服定致使发散，最终准确率只消70.2%，还不如静态模子。原因在于动态参数的生成依赖输入沙巴体育，这会让梯度传播变得更复杂，过多动态层会带来优化艰难。每三个块中放一个动态块（共6个）是最好均衡点，性能76.3%，速率也最快。