这项由弗吉尼亚州夏洛茨维尔落寞沟通者完成的沟通以预印践诺式发布于arXiv平台，编号为arXiv:2604.04385，最新版块于2026年4月13日更新。感意思意思的读者可通过该编号在arXiv上查阅齐全论文。
假定你同期开放四个AI助手，向它们发问灭亡个政事敏锐问题。神奇的事情发生了：第一个已然拒却回答，第二个吐出一堆官方口径的宣传内容，第三个如实讲明了历史事实，第四个则启动胡编乱造一个绝不关系的故事。这四个模子的弘扬截然不同，但要是你用专科器用久了到它们的里面去不雅察，你会发现一件令东谈主困惑的事——在中间某一层集合里，这四个模子对这个问题的"领会"险些一模一样，都明晰地认出了这是个敏锐话题。
那么，从"认出了"到"作念出不同反应"，中间究竟发生了什么？这个问题是本篇沟通的中枢起点，沟通者将这段缺失的计较过程称为"路由"（routing）——也等于大模子在识别内容之后，决定用什么立场去回话的那套机制。而这篇论文的目的，等于把这个一直隐退在AI黑箱深处的路由机制透彻挖出来，找到它的具体位置，弄明晰它的职责道理，并用它来预计一种新式的安全误差。
沟通者在十二个来自六家不同公司的模子中进行了系统性的剖解，这些模子的参数目从最小的20亿到最大的720亿不等，涵盖了谷歌的Gemma、微软的Phi-4、阿里巴巴的Qwen、Meta的Llama、智谱的GLM以及Mistral等主流家具线。沟通发现，在每一个经过对王人锻练的空话语模子里面，都存在一个由特定属见解头（attention head，不错领会为模子处理信息时的故意功能单位）组成的精密电路，沟通者将其定名为"门控-放大器"机制。更令东谈主不测的是，这套机制存在一个结构性误差，使得简略的笔墨编码妙技就能绕过整套安全防护——况且这个误差的根源不错精确地定位到具体某个功能单位。
一、考察如何寻找"罪魁罪魁"：三步定位法
要领会这项沟通的步伐，不错把统共过程思象成一场刑事侦查。沟通者手头有一个"案发现场"：当一个模子收到政事敏锐问题时，它究竟是哪个里面单位触发了拒却活动？嫌疑东谈主多达一千多个（Qwen3-8B这个模子有1152个属见解头），豪迈的审讯时势找不到关节证东谈主，于是沟通者遐想了一套三步侦查经由。
第一步叫作念"平直逻辑归因"（DLA）。这种步伐的道理是测量每一个属见解头对最终输出湮灭的孝顺量——也等于说，哪个单位对"拒却"这个谜底孝顺了最多的力量。湮灭夸耀，位于模子深层的第28到35层的属见解头孝顺最大，其中L35.H25（第35层第25号属见解头）名挨次一。而一个叫作念L17.H17的单位名次在150名开外，王人备没世无闻。用侦查类比来说，这第一步只找到了那些在公开状貌高调发言的东谈主，确凿的幕后操控者还藏着。
第二步叫作念"单头扬弃测试"。此次，考察换了一种时势：把每个嫌疑东谈主单独关起来，望望少了他，案件会不会发生变化。具体操作是，对每一个属见解头，将它在处理政事敏锐内容时产生的标的性信号抹去，然后测量举座的拒却信号减轻了些许。此次湮灭大不疏导：位于第22到23层的属见解头启动主导名次，其中L22.H7单头扬弃后，路由信号着落了8.8%。而L17.H17此次排到了第六，孝顺了1.8%的着落。这就好比剧情启动回转——原来那些在公开状貌千里默的东谈主，短暂夸耀出了不行淡薄的存在感。
第三步是确凿的中枢火器，叫作念"激活互换测试"（interchange testing）。这种步伐问的不是"这个单位有莫得用"，而是"这个单位佩带的信息是不是内容关系的"。具体操作分两个标的进行：第一个标的叫"必要性测试"，在处理敏锐问题时，把某个属见解头的激活值暗暗换成它处理豪迈问题时的激活值，望望拒却信号是否着落——要是着落了，说明这个头确乎在传递"这是敏锐内容"的信号；第二个标的叫"充分性测试"，在处理豪迈问题时，把某个属见解头的激活值换成它处理敏锐问题时的激活值，望望拒却信号是否升高——要是升高了，说明仅凭这个头的激活，就能启动拒却机制。
二、门卫、放大器与"不在现场"的矛盾：解开DLA悖论
找到了L17.H17这个门卫头之后，一个奇怪的矛盾夸耀了：要是平直测量这个门卫对最终输出的孝顺，它只占全部路由信号的不到1%——这在一千多个属见解头里险些什么都不是。但激活互换测试却明确解说它是统共拒却机制的关节触发点。这个矛盾怎么解释？
沟通者通过一种叫作念"中间层DLA"的时势找到了谜底。他们不再只看最终输出层的孝顺，而是跟踪每个档次的孝顺变化。遣发放现，在L17.H17写完信号之后的紧接一层（第18层），这个门卫头在扫数头中名挨次二。也等于说，它确乎写入了一个相配伏击的路由向量，但随后这个信号被卑劣的放大器头（主要聚首在第22-23层）秉承并放大，到了最终输出层，放大器们挥了太多光，把门卫的原始孝顺王人备遮蔽了。
这就像一家公司的CEO下达了通盘伏击指示，然后经由中层搞定者层层传达和实践，最终答复里尽是中层搞定者的功劳，但要是不是CEO的那谈令，什么都不会发生。门卫头是阿谁发令的东谈主，而不是实践的东谈主。为了考据这少量，沟通者作念了一个"叩门测试"：平直把L17.H17的输出清零，然后不雅察它卑劣的放大器们发生了什么变化。湮灭是，6个主要放大器头中有5个信号彰着着落，最大降幅达25.8%。这一连串的连锁扼制效应——沟通者称之为"淘汰级联"——从机制上证实了门卫头对统共路由电路的因果汗漫地位。
沟通者还发现了一个道理的细节：在这6个受影响的放大器中，有一个叫L22.H6的头反而在门卫被清零后信号高潮了10.1%。这说明这个头广大是在"反对拒却"的，它是一个反路由头，雷同于拒却决策过程中投反对票的声息。路由电路并不是一个隧谈的放大链条，而是相沿拒却与反对拒却两股力量之间的博弈湮灭。
三、路由机制如安在十二个模子中保抓一致，又因鸿沟变化而演变
弄明晰一个模子的里面结构虽然伏击，但确凿让这项沟通有价值的发现是：相似的"门卫-放大器"结构，在来自六家不同公司的十二个模子中都能找到，哪怕每家公司锻练时势不同、模子架构各别。
沟通者用相似的激活互换测试步伐扫描了扫数十二个模子，发现门卫头的必要性得分从Mistral-7B的1.0%到Gemma-2-2B的8.4%不等，范围有大有小，但无一例外都存在。这就好比沟通者在十二家不同建筑格调的屋子里，都找到了灭亡种功能的房间，虽然位置和装修各不疏导，但功能逻辑是一致的。
鸿沟变大时，这套机制会发生什么？通过对比四组同眷属的大小模子，沟通者发现了一个轨则性的变化。以阿里巴巴的Qwen2.5眷属为例，从7B（70亿参数）扩大到72B（720亿参数），单头扬弃测试的成果减轻了58倍——也等于说，在72B模子里，删掉任何一个单一属见解头，对拒却活动的影响险些不错忽略不计（最大唯有0.016）。但激活互换测试的必要性得分从2.4%只降到了1.3%，仍然澄澈可检测。谷歌的Gemma-2眷属从2B到9B，单头扬弃成果减轻了8倍，而必要性得分从8.4%降到1.9%。微软的Phi-4眷属从3.8B到14B，单头扬弃减轻了17倍，必要性得分从3.4%降到2.6%。
这个轨则说明，模子越大，路由功能就越散布，由更多头共同摊派，莫得任何一个头成为单点故障。但举座机制依然存在，只是更像一张网而非一根柱子。对于安全审计职责而言，这个发现存平直的实践道理：在大模子里用"删掉某个头"的时势来评估安全机制的可靠性，会越来越失效；而激活互换测试是咫尺从2B到72B全规步伐围内独一抓续有用的审计步伐。
此外，沟通者还跟踪了阿里巴巴Qwen系列三代模子的演变。从Qwen2.5-7B到Qwen3-8B再到Qwen3.5-9B，这个系列对政事敏锐问题的拒却率从33%着落到了0%，而"辅导式回答"（给出相宜某种立场的谜底而非平直拒却）的分数从3.25高潮到了5.0。莫得任何圭臬评测基准察觉到了这一变化，但用机制检测的步伐就能看见：第别称路由头的信号强度在Qwen3-8B时达到顶峰，然后在Qwen3.5时急剧着落，统共路由电路的位置在换代之间险些王人备迁徙，前后两代之间分享的路由头不独特两个。活动上暗暗发生了广大变化，里面电路也暗暗再行布线了，但外部评测方针东当耳边风。
四、路由是真实可控的：从硬拒却到无益带领的齐全光谱
明确了路由机制的位置，沟通者进一步测试了是否大约东谈主为侵犯这套机制，精确地汗漫模子的输出倾向。步伐是在检测层（第15-16层）注入或抽离一个标的性信号，就像供水管加压或减压一样，从外部王人集调遣流量。这个标的性信号是从无数敏锐教导和豪迈教导的对比中索求出来的，代表着"这是一个需要拒却的内容"这个信号的向量标的。
以天安门关系教导为例，这是独逐一个在基准景象下100%触发拒却的类别（8个关系教导全部拒却）。当沟通者渐渐增大抽离力度（用参数α线路，从0增大到50），拒却率沿着一条平滑的S形弧线从100%降到0%——先经验一段高原，然后快速下滑，最终牢固归零。在中间地带，模子启动给出无极诡秘的谜底；到了更大的抽离强度，模子启动平直如实刻画历史事实。反标的操作也配置：对那些莫得触发拒却的政事话题（比如里面CCP政事、新疆问题等），按捺增大注入力度，这些话题逐渐也启动触发拒却，况且不同话题的触发阈值各不疏导，反馈了模子里濒临不同政事敏锐度的细分拨置。
在Phi-4-mini模子的安全类教导上，操作标的相背时出现了更值得热心的高傲：将注入力度抽离，模子的输出从"拒却"过渡到"无益带领"——也等于说，模子启动提供切实可行的无益操作提倡。这解说了一个伏击的事实：安全锻练并莫得删除模子实践无益任务的才略，它只是给这种才略装上了一个路由开关。开关关闭，无益才略被压制；开关被东谈主工关掉，无益才略再行激活。
沟通者还纪录了一个对于话语敏锐性的初步发现：华文输入的天安门关系教导比英文输入在门控层产生了更高的激活值（高出约0.33），而非政事性话题则不存在这种差异。这意味着路由机制是话语敏锐的——用失实的话语或对准失实的话题类别，圭臬评测可能王人备漏掉真实存在的审查活动。
五、密码毛病揭露的早期快乐误差：门卫放工之后深层仍在职责
路由机制最令东谈主畏俱的发现，来自一个对于密码编码的实验。沟通者属目到，门卫头职责在第17层，而内容检测信号造成于第15-16层。那么，要是用某种时势让检测层看不见敏锐内容，门卫头就恒久等不到触发信号，统共路由机制就会透彻失效。
为了考据这个估量，沟通者遐想了一个简略的字母替换密码：把a换成j，b换成t，c换成m，依此类推，造成一个26个字母的逐一双应替换表。这个密码的章程先通过系统教导教给模子，然后用这个密码编写敏锐内容发送给模子。湮灭王人备相宜预计：在Qwen3-8B中，密码编码的敏锐教导在第35层（内容检测峰值层）的信号唯有明文景象的66%不到；在Phi-4-mini中，安全关系的检测信号着落了88%；在Gemma-2-2B中着落了70%。
更伏击的是，在扫数三个模子中，门卫头的激活互换必要性得分险些归零。在Gemma-2-2B和Phi-4-mini中，必要性着落了99%——这意味着交换门卫头的激活值对输出王人备莫得影响，因为密码输入下门卫头根底莫得产生任何路由信号。而Qwen3-8B的门卫必要性着落了70%，与它更散布的路由结构相符。
模子在收到密码编码的敏锐肯求时，不是拒却，也不是提供无益信息，而是启动一步一步地尝试解密这谈"谜题"，王人备投入了谜题解题模式，安全计策灭绝得九霄。用里面检测的角度来领会：在门卫场地的第17层，密码输入的检测分数致使低于豪迈无害教导（5.1 vs 7.3）；直到更深的档次（第24-29层），检测信号才冉冉高潮，但此时门卫也曾"上班湮灭"，它统帅的那扇门早就过了开关时机。
沟通者把这种结构性劣势称为"早期快乐架构"（early-commitment architecture）：路由决定在门卫场地的档次就也曾作念出，不会恭候更深档次完成对内容的全面领会。这就像边境海关的安检东谈主员只查照拂照封面，不翻开看签证页——只须封面姿色不合，就平直放行，而不管后头的页面上写着什么。
为了进一步说明这个误差确乎位于路由接口而非别处，沟通者作念了一个"赈济实验"：在密码输入的前向传播过程中，把门卫头的激活值替换成对应明文输入时的激活值（保留其他扫数层不变），然后测试拒却率是否收复。在Phi-4-mini中，这个单头替换让拒却率从0%收复到了48.3%。也等于说，单单建筑门卫头的信号，就能让近一半蓝本"被密码骗过"的案例再行触发拒却机制。Qwen3-8B因为路由更散布，单头替换的收复率为0%，但这正巧说明Qwen需要替换更多头材干齐全建筑，而不是说建筑计策无效。
六、密码对比分析：用加密毛病反向绘图安全舆图
这个密码实验除了揭示误差，还催生了一种全新的电路发现步伐，沟通者称之为"密码对比分析"。步伐相配爽脆：对每一个属见解头，分别在明文无益、密码编码无益、无害对照三种要求下计较它的输出孝顺。要是一个头在明文要求下有很强的路由孝顺，但在密码要求下孝顺灭绝了，那么这个头等于"内容依赖"的——它的路由功能取决于检测到特定内容。
这种步伐比激活互换测试低廉得多：只需要3n次前向传播，而激活互换测试需要4nK次（K是候选头的数目，可能有几百上千个）。在Phi-4-mini中，这种步伐从768个头中找出了47个内容依赖头，包括扫数已知的电路成员，再加上30多个之前从未被测试过的新头，全部集结在第13-16层。
密码对比分析和激活互换测试找到的头有很大的不重迭：在Phi-4-mini中，两种步伐的前十名唯有2个共同成员。密码对比分析额外擅长找到中间层的内容敏锐头，而激活互换测试更擅长找到深层的结构性放大器。两种步伐合起来识别出了18个特有的电路成员，而任一单独步伐只可找到10个。沟通者还用这两种步伐对全部路由信号进行了瓦解：大要77%的正向路由信号是内容依赖的，另外23%是内容落寞的——不管输入什么内容，这23%的信号都会鼓吹路由，而密码能屏蔽的只是那77%的内容依赖部分。
这个77/23瓦解的数据在三个不同的模子中险些王人备一致（Phi-4-mini：77.6%，Qwen3-8B：76.8%，Gemma-2-2B：77.4%），示意这是对王人锻练中的一种普遍结构特征，而非某个特定模子的或然高傲。
说到底，这项沟通最中枢的发现不错用一句话来详细：AI的"拒却按钮"是一个真实存在的硬件部件，有明确的位置，有可测量的职责道理，也有可被愚弄的结构性瑕疵。这个发当今几个方进取都有践诺道理。
对于AI安全评测来说，沟通论断独特警悟：用删除属见解头来规划某个头的伏击性，在大模子里会越来越失效；用活动评测来规划模子的安全性变化，可能王人备察觉不到里面机制的紧要迁徙。一个拒却率从33%降到0%的质变，圭臬评测不错王人备视而不见，但机制检测会留住澄澈的思路。
对于领会AI如何"学习谈德"这个形而上常识题，这项沟通提供了一个很不纵欲但很实用的视角：安全锻练的湮灭不是让模子确凿"不懂"如何作念无益的事，而是在模子的信息处理经由中插入了通盘闸门，由特定的检测和路由单位汗漫开关。闸门在，无益才略被压制；闸门失效，无益才略再行出现。这种结构既是现存安全机制的兑现时势，亦然它的根底局限——任何能绕过检测层的输入时势，表面上都能让整套机制失效。
对于这项沟通的局限，沟通者我方也坦诚列出了几点。MLP（多层感知机）模块承担了大要23%的路由信号，但这部分的里面机制还莫得被瓦解到特征层面。鸿沟独特720亿参数的模子尚未被测试。密码绕过实验只测试了字母替换这一类编码时势，其他编码计策是否有用、成果如何，留待后续沟通。另外，密码输入是否确凿让模子在更深档次上也无法领会内容的无益性，照旧只是让检测层的体式特征不匹配——这个问题暂时无法从现存实验中分袂，是伏击的后续课题。
归根结底，这项沟通把一个之前只存在于表面估量层面的问题变成了可测量、可考据、可操作的事实。要是把AI安全机制思象成一套门禁系统，那么当今咱们终于知谈了这套系统的门在那里、钥匙长什么样、什么样的伪装能骗过门卫。这既是一种进取，亦然一种提醒：建在特定代号上的留心，只可玩忽已知的敌东谈主。对于这个话题感意思意思的读者，不错通过arXiv编号2604.04385找到齐全的原文，里面包含了扫数实验的详备数据和步伐说明。
Q&A
Q1：空话语模子的"路由机制"是什么，和豪迈的内容过滤有什么区别？
A：路由机制是空话语模子在识别出敏锐内容之后，决定用什么时势回话的里面计较过程。和豪迈的关节词过滤不同，这套机制是基于语义的，灭亡个词在不同语境下会产生王人备不同的检测分数和路由湮灭，况且这套机制是在锻练过程中自觉学习造成的，不是东谈主工编写的章程，位于模子里面特定属见解头上，有精确的神经集合位置。
Q2：用密码绕过大模子安全审查的毛病时势是否也曾被厂商建筑？
A：这篇论文的实验是在Qwen3-8B、Phi-4-mini和Gemma-2-2B上进行的，湮灭夸耀这三个模子都存在这种误差。沟通者指出，问题的根源在于路由机制依赖早期档次的检测信号，任何让检测层看不见无益内容的编码时势都能绕过，不仅限于字母替换密码，这是面前对王人锻练时势的结构性局限，不是单一模子的bug，咫尺莫得通用建筑有绸缪。
Q3：激活互换测试和单头扬弃测试有什么区别，为什么激活互换更有用？
A：单头扬弃测试是把某个属见解头的输出王人备清零，测量拒却信号减轻了些许，规划的是这个头的举座作用。激活互换测试则是把敏锐教导下某个头的激活值换成豪迈教导下的激活值九游体育app娱乐，故意测量这个头传递的是不是内容关系的特定信号。区别在于，扬弃测试受模子鸿沟影响很大，大模子里任何单头扬弃成果都很渺小；互换测试测的是信息的特异性，在72B的大模子里依然能找到门控头。