以 AI 反哺 Infra 进化:面向推理基础设施的 RSI 工程化探索

随着大模型代码能力的提升,Agent 已经能够连续完成算子实现、性能分析和多轮调优。在过去一段时间,无问芯穹围绕 GPU 算子优化搭建了 Agent 框架,让它根据执行反馈调整实现,并通过共享经验减少重复试错。这套框架在 SOL-ExecBench 四个赛道中先后获得了第一(详情可参考:更多Token如何带来更多有效成果?从SOL-ExecBench登顶的技术实践看RSI的工程化探索)。

但当优化后的算子真正接入推理引擎,一个新的问题随之出现:单个算子变快了,为什么完整推理服务没有获得同等幅度的性能提升?

在 GLM-5.3 的 Attention 优化中,虽然在单算子任务上取得了 1.1–1.8× 的加速,但接入引擎后,整体性能仅提升约 0.5%–1.9%。继续分析执行时间线,我们发现,原先的任务止于单个 Rank 的输出投影,没有覆盖后续跨卡通信、残差连接和归一化。算子优化Agent 确实缩短了任务内的计算时间,而影响推理速度的另一部分开销,却始终在它的优化范围之外。

类似的问题还出现在更多优化尝试中:

  • 算子融合减少了 Kernel 数量,却可能增加同步开销;

  • 针对长短请求混合负载优化的 Attention,在等长负载下反而更慢;

  • 单层有效的权重重排,放到全模型后又可能带来过高的显存开销。

这让我们意识到,Agent 的任务设计需要从实际目标出发,明确它可以调整的范围,以及如何判断结果是否有效。使用 Agent 进行推理性能优化,不能只看单个算子有多快,还要看计算、通信、同步和状态管理如何共同影响完整执行链路。 Agent 需要优化的,也不再只是某一段代码,而是一个具有真实执行依赖和资源约束的推理系统。

围绕这一问题,我们逐步完善了端到端推理任务的优化流程:重新定义优化任务,组织 Agent 持续搜索,并通过推理引擎验证性能收益。进一步地,我们也在思考,能否将每一次优化的代码、数据和经验沉淀下来,让它们反过来指导 Agent 的下一轮搜索。


01 从单算子到端到端,推理优化究竟难在哪里?


单个算子不是推理性能的全部,需要扩大任务搜索范围


在单算子优化任务中,通常会预先确定输入、输出和计时范围,Agent 在既定边界内优化计算分块、数据布局和指令实现。这种方式能够有效提升特定算子的执行效率,但也限定了 Agent 能够修改的范围。

当优化进入完整推理链路,这一边界就显得过于局限。

以 GLM-5.3 为例,我们对单并发、MTP k=4 的 Target Verify 过程进行了分析,每次 Verify 处理 5 行。在原版 SGLang 的执行时间线中,Sparse MLA 和两个路由 Expert NVFP4 GEMM 的合计耗时仅占约 31%;投影、跨卡通信、小算子和 Indexer 等环节则占据了其余大部分时间。



要进一步降低推理时延,优化范围就需要从单个 Kernel 扩展到完整 Attention 或 MoE 模块,甚至覆盖包含通信、Residual 和 Norm 的整层计算。对于投机解码,还需要将 Draft、Verify、Accept 和状态提交纳入考虑,关注不同阶段之间的调度与状态更新。

只有将相关计算和执行依赖放进同一个优化任务,Agent 才有机会同时降低 Kernel 内部的计算开销,以及 Kernel 之间的等待和衔接开销。


局部优化不一定带来整体收益,需要覆盖多种负载


扩大优化范围只是第一步。进入推理引擎后,我们发现,即使某项优化在特定测试中有效,也不意味着它能够适用于所有真实负载。

以 Kimi-K3 的 MLA 优化为例,我们尝试使用 KV Tile 负载均衡调度,缓解长短请求混合时不同计算任务之间的负载不均,从而减少执行等待。但在等长请求场景下,负载不均的问题本身就不明显,额外的 Reduce 操作反而可能带来更大开销。

不同测试条件下的结果如下:

8 卡 · 8 路 Decode 上下文并行(DCP)

实验表明,即使 Batch 相同,KV 长度及其分布不同,适合的优化实现也可能完全不同。

类似的权衡也存在于其他环节。Kernel 融合可能减少 Launch,却增加同步开销;权重重排可能缩短单层执行时间,却让全模型面临更高的显存压力。每一种优化都需要放回真实推理引擎,结合执行依赖、输入负载和资源约束重新判断。

因此,设计端到端优化任务时,并不能仅把所有局部加速简单叠加,而是要在完整系统中判断:哪些环节真正构成瓶颈,哪些优化能够相互配合,以及局部性能收益能否在整体执行中保留下来。


02 让 Agent 沿着真实推理链路持续搜索


从单算子任务走向端到端任务设计,不能只扩大代码优化范围,正确性定义、验证标准和搜索组织方式都需要随之改变。


保证结果可信:从数值正确到真实推理行为


Agent 会根据评测结果决定保留或放弃候选,因此当优化任务从单个 Kernel 扩展到整层计算和完整解码流程,正确性检查也需要随之扩展。

首先是计算正确性。数值检查需要使用独立实现作为参照,在优化前确定误差标准,并用未参与误差标定的数据进行复查。检查应落实到每个有效 Token 行,避免 Batch 平均误差掩盖少数行的错误。对于整层任务,还需要分别检查最终 Hidden 和本层产生的 Residual 增量,避免已有 Residual 掩盖本层漏算或计算错误。

其次是执行正确性。例如,MoE 需要明确路由语义,除了数值误差,还要检查专家选择、权重和合并结果是否符合预先约定的规则。

对于有状态任务,需要沿用推理引擎原有的 KV 页表、写入位置,以及 Buffer 分配、复用和释放方式。CUDA Graph 每次 Replay 前,都应在原有 Buffer 中更新输入,并通过跨层、连续多步执行,检查本轮数据是否被正确读取、KV 是否正确更新,以及是否误用了上一轮结果。多卡任务还要检查通信前后 Token 与各 Rank 之间的映射关系。

最后是推理正确性。通过数值与状态检查后,优化实现还需要接入推理引擎,验证生成质量,并记录优化版本是否真正执行,以及不同负载下是否触发回退。

这意味着,一项优化能否被接受,不仅取决于它是否更快,还取决于它能否在约定的数值精度、状态语义、执行行为和资源条件下稳定工作。即便在有限测试中通过检查,也需要明确标注对应的负载与精度条件


完善验证标准:让 Agent 找到真正值得优化的环节


多负载实验说明,性能结论依赖明确的适用范围;正确性验证说明,一个实现必须同时满足计算和状态语义。这些要求应在搜索开始前进入任务定义。因此,无论任务是单算子、模块、整层还是完整解码流程,每个 Task 都应建立明确的执行条件,并让基线与候选在同一组条件下接受验证。

对于每个优化任务,我们建立了统一的执行条件和验收标准,从六个维度进行描述:


这些维度帮助 Agent 在搜索开始前明确可修改的范围和必须满足的执行条件。不同任务可以有不同的具体配置:单卡任务可以明确不涉及跨卡通信,无状态任务可以明确没有持久状态更新;涉及跨卡通信或 KV 更新时,需要提供可复现的数据分布和读写规则。

同时,性能比较需要确保基线与候选实现完成相同的工作,并遵守相同的正确性标准和资源预算。只有计算、通信、必要的数据准备、同步与调度成本都处于一致的测量边界内,Agent 才能判断性能提升究竟来自实现改进,还是输入、执行方式和计时范围发生了变化。


组织持续搜索:从模块优化走向整层联合优化


在明确任务定义和验收标准后,Agent 才能围绕真实推理链路组织持续搜索。

以 GLM 为例,我们按照完整解码轮次组织优化任务:

Draft / 提案 → Target Verify → 接受与状态提交 → 下一轮 Draft。

围绕这一完整轮次,我们以GLM为例,按图中四类任务组织调优,每类 Task 可以包含多个 Kernel,并继续按模型、并行配置、BS 和 KV 分布细分。

GLM 通常先覆盖 Verify 侧的两类整层任务,以及 Draft 侧的 MTP extend 和 Chain,共四类。

Kimi-K3 则对应不同的执行链路:Draft 侧需要覆盖 DSPARK 草稿路径,Target 侧进一步按 MLA、Kimi Delta Attention 和 MoE 拆分优化任务。

在不到 48 小时的调优过程中,经过持续搜索,主模型的整层通用实现相对 SGLang 基线达到 1.54×-1.77x 加速。

从 Attention、MoE 到整层联合优化,这条路径体现的并不只是 Agent 优化了更多算子,而是它开始围绕完整推理任务组织搜索,并根据执行反馈不断调整优化范围。

03 从实验室里的算子加速,到推理服务的真实收益


任务设计与持续搜索的最终价值,仍然要回到推理引擎中验证。我们不仅关注单个算子或整层的性能,还进一步观察优化后的实现能否在完整 Decode 流程中带来收益。


整层执行:计算与通信的协同优化


下图展示了 Agent 优化后整层实现的执行时间线。Agent 先通过算子融合、PDL 预取和 MoE persistent Kernel 改进模块内部执行。Flow 再将候选放回完整层,通过 Profiling、正确性检查和交替 A/B 评测,引导 Agent 继续调整跨卡计算分工和算子衔接。

图中,Attention、跨卡通信与 MoE 按数据依赖执行。后继 Kernel 提前完成权重预取和初始化,计算结果直接写入后续通信槽,使部分准备和通信开销与前驱执行重叠,减少阶段之间的等待,将局部优化继续推进为可验证的整层收益。



单并发 Decode:不同输入长度下均获得加速


在单并发实验中,输入长度为 1K、10K 与 100K 时,相对 SGLang 的 Decoding 加速比分别为 1.65×、1.86× 与 1.83×。图中按输入长度展示归一化结果,衡量单请求生成阶段的表现。



多并发 Decode:在不同模型和配置下验证收益


多并发测试分别记录了 40 小时内 GLM-5.3 和 Kimi-K3 的优化结果,两组加速比分别约为 1.36× 与 1.46×,对应速度提升约 35.5% 与 45.9%,当前结果仍在持续提升中。



从整层执行时间线,到单并发、多并发 Decode 测试,优化收益逐步从局部计算环节延伸到完整推理执行。这意味着 Agent 搜索的价值,不再只是产生更快的算子实现,而是能够通过系统级优化,改善真实推理服务的性能表现。


04 从经验复用到 Agentic Infra:让每一次优化,成为下一次优化的起点


当 Agent 能够围绕完整推理任务持续搜索,并将优化结果转化为真实服务的性能收益,一个新的问题也随之出现:一次优化结束后,Agent 能否从中积累经验,并将这些经验用于下一次优化?

这正是我们从端到端性能优化进一步探索 RSI(递归自我改进)和 Agentic Infra 的切入点。


不只保留最优代码,更要沉淀优化经验


在实际优化中,很多结论都依赖具体条件。

例如,KV 负载均衡适合哪些请求?哪些启动开销发生在 Graph 之外?权重重排需要多少额外显存?某个优化方案为什么在特定负载下失败?这些信息同样是下一轮搜索的重要依据。

因此,我们将优化过程中产生的代码版本、性能数据、适用条件、Profile 和失败记录一起保存。Agent 在恢复任务时,不仅能了解当前的最优实现,还可以查阅方案成立的前提、尚未解决的问题以及此前尝试失败的原因,从而减少重复排查。

但经验复用并不是简单复制历史最优实现,必须结合新任务的实际条件重新判断。真正有价值的经验,不只是告诉 Agent 什么方案曾经更快,还要告诉它为什么有效、在什么条件下有效,以及什么时候不应该继续沿用。


不只复用优化结果,还要改进 Agent 的工作方式


除了沉淀具体的优化经验,我们也在尝试改进 Agent 组织和执行搜索的方式。

例如,在一项复杂优化任务中,可以由同一个 Agent 连续推进,保留完整的优化思路和上下文;也可以由不同角色分别提出方案、编写代码和复现实验,通过分工增加相互检查。同一个 Agent 连续执行更容易保持上下文,但缺少独立检查;多个 Agent 分工协作能够增加验证环节,却需要花费时间传递信息和协调结果。这就需要在相同任务、初始代码和预算下进行比较,考察最终性能、实验成本,以及后续任务能否继续利用留下的代码和记录。

这种探索让优化的对象开始从推理系统本身延伸到 Agent 的工作流程:不仅要让 Agent 完成一次优化任务,还要研究怎样组织任务、实验和协作,才能更有效地获得可部署的优化成果。


从代码优化走向优化过程的自我改进


从单算子到端到端的探索,我们可以看到 Agent 能力边界正在发生变化——优化的对象不再只是 GPU 算子和推理系统,也开始包括 Agent 自身完成优化任务的方式。

现阶段的任务设计、误差标准和接入判断仍然需要人类参与。下一步,我们希望通过独立任务和相同预算下的对照实验,验证 Agent 是否能够真正利用已有经验,减少重复试错,并持续获得更多可部署的优化成果。

这也是我们理解的 RSI 工程化探索:不只是让 Agent 优化代码,还要让优化的成果和反馈反过来改善 Agent 完成下一次优化任务的能力,也是我们希望在 Agentic Infra 中积累的能力。

围绕这些实践,无问芯穹后续也将逐步开源相关工作。我们希望通过开源,让社区能够共同检验从任务定义、持续搜索到真实部署的完整路径,探索如何让性能收益更加可复现、经验更加可继承、推理引擎接入更加可验证。


更多动态

释放无穹智能,让AGI触手可及

联系我们,获取定制化 AI 基础设施解决方案

释放无穹智能,让AGI触手可及