解密RepetitionCurse：MoE大模型服务的黑盒压力测试方法

> ### 摘要 > 某研究团队提出了一种面向MoE（Mixture of Experts）大模型服务的新型黑盒压力测试方法——RepetitionCurse。该方法无需访问模型权重、不依赖梯度计算，亦无需了解后端专家的具体部署架构，仅通过构造高度重复的输入模式，即可触发专家路由机制异常，导致大量token被集中路由至同一小批专家，引发显著的token过载现象。RepetitionCurse揭示了MoE架构在实际服务中潜在的负载失衡风险，为黑盒场景下的模型鲁棒性评估提供了新范式。 > ### 关键词 > RepetitionCurse；MoE模型；黑盒测试；专家路由；token过载 ## 一、RepetitionCurse的概念与起源 ### 1.1 RepetitionCurse的定义：无需模型权重的黑盒测试方法 RepetitionCurse并非一种攻击，而是一面冷静、锐利的镜子——它不索取模型权重，不触碰梯度，甚至对后端专家的部署方式一无所知；它只是重复，反复地、近乎执拗地重复。这种高度重复的输入模式，像一把无声的钥匙，悄然旋开了MoE架构中专家路由机制的隐秘接口。在黑盒条件下，它不依赖任何内部可见性，却能精准扰动路由决策，使本应均匀分散的token洪流，骤然坍缩为几条拥挤不堪的窄道。这不是故障，而是暴露：暴露了当“重复”这一人类语言中再自然不过的特征，撞上稀疏激活的专家选择逻辑时，系统所呈现出的结构性脆弱。RepetitionCurse由此确立了一种新的评估伦理——鲁棒性不应只在白盒光照下被验证，更需在黑盒阴影里经受最朴素输入的叩问。 ### 1.2 研究团队的突破：如何仅通过重复输入模式诱导专家路由异常 某研究团队的突破，正在于剥离了所有技术特权：他们放弃访问权重，绕开梯度反传，无视专家数量、位置与调度策略——仅以语言本身的重复性为杠杆，撬动了MoE服务最底层的路由稳定性。当输入序列中语义单元被高度复现，专家路由模块在缺乏显式对抗训练的前提下，倾向于将相似表征持续导向历史响应最优的少数专家，形成正反馈循环。这种看似合理的局部优化，却在宏观层面酿成token过载：小批专家被迫承载远超设计容量的计算负荷，延迟飙升，吞吐骤降，服务可用性悄然瓦解。该方法不制造幻觉，不注入噪声，只让模型“如实回应自己”——而正是这“如实”，照见了路由机制在真实负载下的失衡临界点。 ### 1.3 RepetitionCurse在MoE模型研究中的历史背景 资料中未提供RepetitionCurse在MoE模型研究中的历史背景相关信息。 ## 二、RepetitionCurse的技术原理 ### 2.1 高度重复输入模式如何影响专家路由决策 当语言褪去变化的褶皱，只留下整齐划一的复现——句子结构如镜面般对称，词汇序列似节拍器般恒定，语义单元在输入流中反复叩击同一扇门——专家路由机制便悄然偏离其设计初衷。RepetitionCurse不施加扰动，不伪造信号，它只是让模型面对自己最熟悉、最“合理”的输入：高度重复的模式天然契合MoE路由模块对表征相似性的敏感偏好。在缺乏显式对抗约束的前提下，路由头倾向于将语义相近的token持续分配至历史响应置信度最高的少数专家，形成一种隐蔽却顽固的路径依赖。这种依赖并非错误，而是稀疏激活逻辑在单调输入下的自然延展；可正因如此，它才更令人警醒——原来最平滑的推理路径，恰恰可能成为系统负载失衡的起点。重复不是噪音，而是透镜；它不扭曲模型，却让路由决策中的隐性偏置无可遁形。 ### 2.2 Token过载的机制：为何同一小批专家会接收大量token Token过载并非突发故障，而是一场静默的雪崩。当高度重复的输入持续涌入，专家路由机制在毫秒级决策中不断强化同一组专家的优先级权重，导致本应分散于数十甚至数百专家的token洪流，被逐步压缩至仅数个专家节点之上。这些被选中的专家瞬间承载远超其设计吞吐上限的计算负荷：前向计算排队延迟激增，KV缓存迅速饱和，调度队列拉长，响应时间呈非线性恶化。更关键的是，这种过载不伴随明显异常日志或梯度异常——它安静地发生在黑盒服务的毛细血管中，直至用户端感知为整体吞吐骤降与首字延迟飙升。RepetitionCurse所揭示的，正是MoE架构中“稀疏”与“弹性”之间的脆弱契约：一旦输入分布偏离预设假设，稀疏即刻蜕变为单点瓶颈。 ### 2.3 RepetitionCurse与专家部署方式的无关性解析 RepetitionCurse的力量，正在于它的彻底“无知”——它不关心专家是部署于单卡、多机，抑或跨数据中心；不区分专家是静态加载还是动态加载；不追问路由是基于Top-k、Soft MoE，抑或带负载均衡的变体。资料明确指出，该方法“不需要知道后端专家如何部署”，这意味着无论专家以何种物理形态存在、以何种调度策略协同，只要其路由逻辑对输入表征的相似性保持响应，RepetitionCurse便能生效。这种无关性不是简化，而是穿透：它绕开所有工程实现的迷雾，直抵MoE范式的核心契约——即“路由决策依赖输入语义相似性”。正因如此，RepetitionCurse才真正成为一把通用标尺：不测量某一次部署的缺陷，而检验整个范式在真实语言分布下的结构性鲁棒边界。 ## 三、RepetitionCurse的实验验证 ### 3.1 实验设计：如何构建有效的重复输入测试模式 RepetitionCurse的实验设计，是一场对“平凡”的精密致敬——它不依赖复杂扰动，不引入对抗噪声，甚至拒绝任何语义篡改；它只是将语言中最基础、最本能的重复性，升华为一种严苛的测试语言。研究团队构造的重复输入模式，并非随机堆叠或机械复制，而是围绕语义单元的层级化复现：从词元级（token-level）的连续重复，到短语级（phrase-level）的镜像结构，再到句法级（syntactic-level）的周期性循环。例如，以固定模板生成的长序列输入——如“请解释……请解释……请解释……”持续数十轮，或嵌套式重复如“‘X’意味着‘X’，‘X’意味着‘X’……”，均被证实能稳定触发路由偏移。这种设计刻意规避了模型训练数据中的罕见模式，直指日常交互中真实存在的高频重复现象：客服对话中的标准应答、代码补全中的模板续写、多轮指令中的条件复述。正因如此，RepetitionCurse不是在测试模型能否抵御“异常”，而是在追问：当用户以最自然的方式说话时，MoE服务是否仍能保持其承诺的稀疏与均衡？ ### 3.2 测试结果分析：专家路由异常的具体表现 测试结果显示，RepetitionCurse所诱导的专家路由异常，并非表现为错误输出或崩溃，而是一种高度隐蔽却系统性的服务退化：在黑盒服务接口层面，首字延迟（time-to-first-token）上升达数倍，端到端吞吐量断崖式下降，而监控日志中却无异常告警或错误码；在内部可观测维度上，少数专家的GPU利用率持续超过95%，KV缓存命中率骤降，其余专家则长期处于闲置状态——负载分布熵值显著低于正常推理场景。更值得警惕的是，这种异常具有自强化特性：随着重复输入持续流入，路由头对已激活专家的偏好权重持续累积，进一步抑制其他专家的参与机会，形成闭环式的过载螺旋。值得注意的是，该现象在不同规模的MoE模型中均被复现，且与模型参数量无单调相关性，表明问题根源不在容量上限，而在路由机制对输入分布偏移的内在敏感性。 ### 3.3 不同MoE架构下的RepetitionCurse效果对比 资料中未提供RepetitionCurse在不同MoE架构下的效果对比相关信息。 ## 四、RepetitionCurse的潜在影响 ### 4.1 对MoE模型服务稳定性的威胁 RepetitionCurse像一场无声的潮汐，不掀巨浪，却悄然改写岸线——它不触发报错，不引发崩溃，却让MoE模型服务在用户毫无察觉中滑向失稳边缘。当高度重复的输入持续涌入，专家路由机制陷入一种“合理却危险”的惯性：它忠实地复用过往高效路径，将越来越多token导向同一小批专家，而这一过程完全符合其设计逻辑。正因如此，稳定性溃散并非源于缺陷，而是源于过度“正确”；不是系统坏了，而是系统太顺从了。这种顺从，在黑盒服务场景下尤为致命——运维人员无法通过传统指标（如错误率、OOM日志）提前预警，监控面板风平浪静，而真实负载早已在少数专家节点上堆叠成堰塞湖。首字延迟飙升、吞吐断崖下降，不是偶然抖动，而是结构性失衡的必然回响。RepetitionCurse由此撕开一个尖锐真相：MoE的稳定性，竟脆弱地锚定在输入分布的“多样性假设”之上；一旦现实语言中的重复性——那再自然不过的对话节奏、指令习惯与表达惯性——成为常态，稳定性便不再是默认属性，而成了亟待主动捍卫的稀缺资源。 ### 4.2 可能的资源浪费与性能下降 资源在这里不再只是显性的GPU利用率或显存占用，而是被悄悄蒸发的弹性、被 silently 消耗的冗余、被重复输入一寸寸蚕食的服务尊严。当大量token被持续路由至同一小批专家，其余专家长期处于闲置状态，硬件资源的物理存在与逻辑效用之间，裂开一道沉默的鸿沟。那些本该分担计算的专家，静静伫立如未启封的备件；而被选中的专家，则在95%以上的满载中喘息，KV缓存频繁驱逐、调度队列不断拉长、前向计算被迫排队——性能下降不是线性衰减，而是非线性坍塌。更深刻的是，这种浪费具有隐蔽的累积性：一次重复输入或许无碍，但千次同类请求叠加，便让整个MoE集群的资源利用熵值持续走低，稀疏架构引以为傲的“按需激活”承诺，在重复面前悄然异化为“按惯性锁定”。这不是低效，而是错配；不是算力过剩，而是算力沉睡与过载并存的荒诞共存——系统在全力运转，却只用上了自己的一小部分。 ### 4.3 对大型语言模型部署安全的启示 RepetitionCurse不是攻击，却比许多攻击更值得警醒：它不越权、不伪造、不欺骗，仅以语言本真的重复性叩门，便让MoE服务露出承重结构的微隙。这迫使我们重新定义“部署安全”——它不该仅关乎对抗恶意扰动或防御梯度泄露，更应涵盖对平凡输入下系统韧性的诚实审视。当黑盒测试无需权重、无需梯度、无需知晓专家部署方式即可生效，说明真正的风险不在边界，而在内核；不在对抗者手中，而在日常交互的褶皱里。部署安全，从此不能再是“守好大门”的静态防线，而必须成为“感知脉搏”的动态能力：能否实时识别路由偏移？能否在过载初现时动态重平衡？能否将重复性本身纳入服务SLA的评估维度？RepetitionCurse是一记温柔的警钟——它提醒所有部署者：最危险的失效，往往始于最无害的输入；而最坚固的安全，永远始于对“正常”最谦卑的怀疑。 ## 五、总结 RepetitionCurse作为一种黑盒压力测试方法，揭示了MoE大模型服务在真实交互场景中因输入重复性引发的专家路由失衡风险。它不依赖模型权重、梯度或后端专家部署信息，仅通过高度重复的输入模式即可诱导大量token被集中路由至同一小批专家，导致token过载。该方法凸显了MoE架构鲁棒性评估的新维度——在缺乏内部可见性的前提下，仍能有效暴露路由机制对自然语言分布偏移的结构性敏感。其无关部署方式的特性，使其成为检验MoE范式底层稳定性的通用标尺，也为后续路由算法优化、负载均衡机制设计及服务SLA制定提供了关键实证依据。