基于 RLinf 与壁仞 GPU 的具身智能 GRPO 强化学习实践

具身智能强化学习的落地,离不开训练框架与底层算力平台的协同。RLinf 与壁仞合作,将 RLinf 的具身强化学习训练与调度能力,与壁仞 GPU 及 BIREN SUPA™ 软件栈结合,联合推进平台接入、模型迁移、训练精度对齐与系统性能优化。

具身智能在线强化学习训练,是目前对训推系统要求最苛刻的一类工作负载:单机多卡上要同时容纳 actor 训练、rollout 推理和物理仿真环境三类异构进程;VLA 模型(Vision-Language-Action)又引入了 Flow Matching 多步去噪、双流共享 Attention、MoE 动作专家这类非常规结构。这不仅考验底层算力与软件栈的兼容性,也要求框架在资源调度、数据流转和训练稳定性上形成完整支撑。

RLinf由无问芯穹和清华大学联合北京中关村学院等多家机构共同推出,是全球首个面向具身智能的大规模强化学习训练开源框架,被多所世界顶尖高校学术机构以及全球领先的AI芯片和具身智能等企业广泛采用。无问芯穹与壁仞的此次合作实践,完成了从RLinf与SUPA软件栈的适配、LingBot-VLA 1.0/2.0 的GRPO 强化学习训练,到跨平台同配置精度对齐验证的完整闭环,并将合作成果持续回馈开源社区。目前,SUPA 加速器支持已合入RLinf 主干(commit 7b3d874),LingBot-VLA-V2 的SFT与GRPO 集成正在社区评审中(PR #1652),一批经过验证的平台无关系统优化也将逐步贡献至上游。

本文由壁仞与 RLinf 社区联合撰写,按平台接入 → 模型迁移 → 训练精度对齐 → 系统性能优化四个阶段展开。


01 平台接入:让 RLinf 认识一块新加速器


1.1 本阶段的 PR 一览

平台接入能以这样一个小体量 PR 落地,关键在于没有在主干里散落 if biren 分支,而是把差异收敛到框架既有的扩展点上。



1.2 BirenSUPAManager:复用四个注册接口


RLinf 通过 Accelerator Manager 抽象管理异构加速器,设备发现、可见性控制、通信后端、profiling 配置都有统一注册接口。PR #1581 沿用这套机制接入壁仞 GPU,核心是新增 BirenSUPAManager(rlinf/scheduler/hardware/accelerators/biren_supa.py):

  • 设备发现:torch_supa 暴露 torch.supa 命名空间,get_num_devices() 直接映射到 torch.supa.device_count(),Ray 调度器即可按卡分配 worker;

  • 可见性控制:使用 SUPA_VISIBLE_DEVICES,并设置 RAY_EXPERIMENTAL_NOSET_SUPA_VISIBLE_DEVICES=1 防止 Ray 覆盖设备选择——这个坑其他国产平台接入时踩过,SUPA 直接规避;

  • 集合通信后端:返回壁仞自研的 BCCL 后端(对应 NCCL),socket 变量映射为 BCCL_SOCKET_IFNAME;

  • 设备类型别名:torch_supa 会把 cuda 别名到 supa,因此 tensor.device.type 的值是 "supa"。框架里大量 == "cuda" 的等值判断必须由 get_device_type() 如实返回 "supa" 才能正确工作——这类"看似兼容、实则语义不同"的别名差异,是最容易漏掉的隐蔽点。


1.3 安装侧:新增"厂商镜像提供 torch 栈"简易公共接口


SUPA 栈预装在运行时镜像中(torch_supa 不发 PyPI),只能落在 --system-site-packages 的 venv 里复用。壁仞没有复用此前为另一家国产平台写的私有逻辑,而是联合社区泛化为 configure_vendor_torch_platform / seed_vendor_torch_metadata / install_vendor_torch_extras 三个通用函数,新平台接入从"一套 shell 函数"降为"一行声明",大幅降低RLinf接入异构平台torch的成本,提升易用性。

一个细节值得记录:seed_vendor_torch_metadata 只向 venv 复制厂商包的元数据(METADATA / WHEEL / INSTALLER),RECORD 留空——uv 因此把镜像里的 torch 视为"已安装",不会偷偷拉一个 CUDA 版 torch 把厂商构建 shadow 掉;留空的 RECORD 也保证卸载操作删不掉镜像里的原始文件。


02 模型迁移:以 patch 方式承载平台差异


2.1 本阶段的 PR 一览

2.2 迁移对象:一个"双流共享 Attention"的新架构 VLA

LingBot-VLA-V2(Qwen3-VL-4B 主干 + Qwen2 Action Expert + Flow Matching 动作头,6.37B 参数)是一个双流共享 Attention 的 VLA:感知流和动作流的 Q/K/V 沿 token 维拼接后做统一 attention,动作专家还带 32 expert 的 Token MoE;模型内部使用 55 维 padded 的 canonical action/state 空间,而 RoboTwin 环境执行的是 14 维动作。社区上游此前没有其在线 RL 训练支持,更没有面向新加速器的实现。壁仞首先将其迁移到 RLinf 并完成验证,作为跨平台对齐的基线。


2.3 平台差异部分以 patch 形式便于维护升级


面对这样的复杂模型结构,平台差异不可能靠"改几个算子"解决:它会同时渗透到安装、调度、数据路径和反向图里。因此差异部分以 patch 形式组织:

  • 原生 RLinf 仓库保持 clean,固定在基线 commit 上;

  • 壁仞差异放在独立仓库,以镜像原生模块路径的 patch 文件组织(rlinf_br/patches/rlinf/scheduler/...);

  • 每个同名文件只定义有变化的函数/类,未变更部分完全不动,diff 可读、可 review;

  • 由 patch manager 运行时注入,sitecustomize.py 保证每个解释器加载一次,RLINF_BR_AUTO_PATCH=0 可整体关闭。

  • 这让"壁仞适配"成为可整体启停、单独 review、按模块验证的一等公民,而不是散落在主干里的 if biren 分支;上游升级时的冲突面也收敛到"真正有差异的那几个函数"。


2.4 迁移中绕不开的潜在系统差异


算子与运行时兼容:问题集中在注意力实现的布局兼容性、上游 fused kernel 的依赖替代、特定反向传播路径的边界限制,以及一些语义等价但中间表示不同的算子差异。策略是先用语义等价的 fallback 跑通稳定基线(显式 contiguous + matmul、eager MoE、极小张量移 CPU、通过 rl_trainable_scope 限制反向图等),把长程训练验收建立在这条路径上,再逐步换回原生高性能算子。每一步 fallback 都配有单测和逐 step 审计——这也是第 03 章审计方法论在迁移阶段的直接应用:先把"和什么比、怎么算对齐"定义清楚,兼容性问题才能被安全地定位和绕开。


03:训练精度对齐:分层验证确保跨平台强化学习训练正确性


强化学习训练的跨平台适配最难的不是跑通,而是证明换了加速器之后,模型看到的数据、加载的结构、执行的算法仍然一致。在线 RL 天然不可逐 step 复现,"loss曲线看起来正常"不构成证据。

壁仞在将 RLinf + LingBot-VLA-V2 GRPO 训练适配到 SUPA 的过程中,升级了自研精度对齐工具 BRTT(Biren Training Tools),以"分桶 dump → 逐层比对 → 首个分歧定位"的方法论,把跨平台训练正确性验证从数周的模糊排查压缩到数小时的可复现流程。


3.1 BRTT:面向 RLinf 持续升级的跨平台精度对齐工具


BRTT 的逐层比对能力已在纯 LLM强化学习训练中成熟,覆盖 rollout 采样、advantage归一化、actor 前反向、梯度与权重同步四类对齐桶。本次与RLinf 深度结合的核心增量是新增 env 仿真交互对齐桶(仿真器子进程内部的观测/动作/奖励出界 tap),使数值分歧可以定位到具体环节(env 交互 / rollout / 训练 / 权重同步)与具体 worker,而非停留在"训练结果对不上"的笼统结论。

BRTT 的引擎层与框架无关,桥接层采用零训练脚本侵入的 hook 机制,整体分三层:



  • 引擎层(设备无关):通过nn.Module 前/反向 hook 捕获任意子模块的输入输出张量;设备 dump 适配器对 CUDA / SUPA / DTensor 开放;比较引擎按 cosine 与最大误差给出 PASS / OK / WARN / FAIL 分级,并对 bf16 等低精度类型使用按架构定制的容差;

  • 桥接层:rlinf_align 薄包经RAY_RUNTIME_ENV_HOOK 沿 Ray 集群自动传播,把训练阶段映射到标准对齐桶;每条 dump 记录盖 step 与worker 戳,分歧可逐条归因;

  • 工作流层:单条 YAML 一键完成双端 dump → 比对 → HTML 报告,内置固定 seed、采样温度置零、权重与数据 sha256 校验等确定性门槛。

对齐流逐桶 dump、逐桶比对、按阈值分级,首个分歧桶即停——定位到该桶对应的 worker 与张量,避免下游放大的噪声污染归因;修复后沿链路复验,直至权重同步全绿。

引擎层与比较器不绑定任何特定加速平台:接入新框架只需一份 tap 注册表,接入新硬件只需一个设备 dump 适配器。

BRTT 对 RLinf 的覆盖遵循具身强化学习数据的完整生命周期,任何一层 FAIL 即停止后续 dump。每层证据都携带 worker 标签,定位结果精确到"第 N step、某类 worker、某桶内哪个张量首次产生分歧":

  • env 仿真 / dataloader / 初始权重对齐(具身特有):初始权重做全量参数清单哈希比对,env 对齐的 tap 落在 EnvWorker.env_interact_step 边界。这是纯 LLM RL 没有的一环:观测张量在进入 rollout/训练前就完成双端验证,仿真器版本、渲染配置、相机参数的配置漂移在此层即被拦下;

  • 各模块输入输出 shape 对齐:对 actor 训练的每个微批做输入/输出/loss 三段、30+ 字段的 shape 审计,这是成本最低、定位最快的哨兵;

  • 前反向计算精度对齐:用模块 hook dump 前向输出、logprobs、loss 及梯度张量,按 cosine 分级比对,定位首个分歧层;

  • 各 worker 单元测试:对 actor / rollout / env worker 分别做一致性复跑与单 worker 回放,隔离"集群编排差异"与"数值差异"。

BRTT 的比对报告会产出一张按worker 归因的 kernel 差异清单(下表为输出格式示意),每一行回答:哪个 kernel、怎么发现的、在哪个 worker 上、误差多大。

清单按"首个分歧收窄法"生成:沿数据流找到第一个超差的 kernel,再确认下游差异是放大还是衰减,避免把二次放大噪声误报为独立 bug。

在 LingBot-VLA-V2 的细粒度对齐中,物理实现审计发现 rollout 的 MoE 专家计算双端逻辑契约完全一致、物理实现不同,发现路径分三步:

  • 模块树结构审计:遍历 rollout worker 的完整 nn.Module 树记录结构签名,共享模块 1466 项全部匹配,BIREN 端多出 36 个 SUPA 融合算子 wrapper,物理不同在这里第一次现形;

  • MoE 调用契约比对:每次 MoE 前向的 (T, D, E, I, K, calls) 契约双端完全一致——数学路径相同的证据;

  • 路由工作量守恒校验:MoE 内部各算子路由的 token 行数双端守恒在 110,160 行,无一行丢失或重复——逻辑工作量相同的证据。

综合判定:报告给出「LOGICALLY ALIGNED / PHYSICALLY DIFFERENT」——参考端 rollout 走原生 Triton 分组 kernel,BIREN端采用 SUPA 融合算子。这是预期结论而非失败:它把"rollout是否每个 kernel 精度一致"从模糊疑问变成可判定审计项,明确区分"数学路径一致"与"物理实现一致"。


3.2 LingBot-VLA-V2 训练确定性保证与跨平台数值一致性验证


先一致性、后对比:跨平台比对的前提,是每个平台自己跑两次能得出一致结果(自复现)。单平台自复现都做不到,任何双端差异都无从归因。

具身 RL 训练的随机性来自多处,需要逐一看住:

  • 采样环节:解码温度、采样种子、dropout 都会改变动作序列;

  • 异步到达顺序:rollout 轨迹到达 actor 的顺序不固定,微批组装随之变化;

  • 环境侧随机性:仿真器 reset seed、任务初始状态、渲染参数;

  • 算子级非确定性:如 atomicAdd 归约的浮点结果不具备跨 run 可重复性。

工具通过两层比对识别哪些随机性在起作用:

  • 静态层先做身份校验:初始权重、数据集与种子 sha256、配置 YAML 双端比对,不一致则后续比对免谈;

  • 动态层利用在线采样的乱序性做多重集(multiset)比对:每步 14 条 lang_tokens 的多重集双端 14/14 匹配,证明仅洗牌顺序不同;确定性字段则做到 42/42 有序精确一致;

  • 据此确立规则:跨平台数值比较必须按稳定 sample ID 连接或做分布比较,不可按微批下标配对——否则异步架构下的"差异"只是到达顺序噪声。

对齐模式(alignment mode)下则全部锁死:固定全局 seed、采样温度置零、权重与数据 sha256 双端校验,并钉定单线程 BLAS/OMP、禁用非确定性算子路径。

关键原则是:精度对齐时锁定一致性,正式训练时再放开。正式训练恢复探索性采样与异步乱序,此时对比的是训练动力学(loss / KL / reward 曲线形态),而非逐步 bit 级一致。

shape 审计真实抓到过一个典型 bug:首轮 42 条微批记录全 FAIL。

  • 现象:BIREN 端 main_images=[1,240,320,3] 而参考端为 [1,64,64,3];

  • 根因:launcher 设置了 ROBOTWIN_CAMERA_WIDTH/HEIGHT,而合成图像代码读取的是ROBOTWIN_SYNTHETIC_IMAGE_WIDTH/HEIGHT;

  • 归因:分歧字段全部来自 env worker 的观测输出,actor/rollout 侧全部一致——误差源头一步归因到 env 仿真环节;

  • 价值:这类配置漂移在冒烟测试中完全不可见,却在 shape 审计中立刻现形——修复后42/42 全 PASS。


3.3 GRPO 强化学习训练不收敛问题的分层诊断方法


LingBot-VLA-V2 GRPO 从 SFT 权重起步训练时,存在一类运行时无异常的不收敛失效:reward 恒零 → advantage 全零 → policy loss 与 grad_norm 恒零。它不产生异常栈,仅表现为 loss 贴地、成功率不升,是人工巡检最难覆盖的类别。

诊断方法是沿数据流反向逐桶收窄:任务奖励 → advantage → actor

loss → 梯度 → 优化器,每一桶都有双端证据,出问题即停。

在 click_bell 的一次实际诊断中:

  • 档案显示:模型输出的夹爪通道恒为 0.75–0.86,而成功判定要求夹爪开度 <0.2——奖励在结构上不可能非零,全零梯度由此注定;

  • 离线开环回放隔离实验:将专家观测直接喂模型前向,RLinf 栈与官方栈预测 MAE 完全一致(0.396),问题单步收窄至共享的 checkpoint / 归一化参数,而非适配层。

这一案例展示了 BRTT 的三个不可替代性:

  • 静默零梯度探测:基于 loss 轨迹门限自动告警;

  • 开环回放模式:规避闭环仿真的混沌放大,让"前向是否等价"成为可判定命题;

  • 分桶证据链分层界定误差责任:硬件平台、训练框架、模型权重三个层面的误差归属均由报告证据直接判定。


3.4 壁仞 BRTT 精度对齐工具的未来计划


BRTT 在 RLinf × LingBot-VLA-V2 上的实践,验证了"分桶dump → 逐层比对 → 首个分歧定位"路径的有效性。壁仞正把这套能力演进为可持续运转的精度保障体系:

  • 工具链标准化与 skill 化:把 dump 契约、比对阈值、分歧判读沉淀为可复用的标准 skill,让精度定位从"依赖专家经验"走向"按 SOP 可执行",并逐步覆盖 verl 等更多训练框架;

  • 回归保障常态化:将双端对齐验证纳入版本回归,驱动、算子库、编译器变更在合入前即可验证其数值影响。

下一步壁仞会将 BRTT 开源,围绕"接入新框架只需一份 tap 注册表、接入新硬件只需一个设备 dump 适配器"的开放架构,与 RLinf 社区共同维护跨平台精度对齐与回归测试设施,让精度对齐从事后排查前移为平台适配与版本演进中的一等公民。


04 系统性能优化:壁仞回馈给 RLinf 的原生能力


本阶段的 PR 一览

适配之外,壁仞围绕LingBot-VLA-V2 的在线 GRPO 训练,自研贯通推理、训练与仿真的系统优化,在 RLinf v0.4 实现上完成迁移验证(RoboTwin 2.0 click_bell,单机多卡,GPU 渲染)。基线单步耗时中,rollout 约占62%、actor 训练约占35%、权重同步约占3%;其中 VLA predict 约占单步耗时的30%(约为 rollout 的一半)。优化沿三条链路展开:去噪循环整体成图,pinned 镜像与地址保持 offload 让图跨卸载复用,跨 stage 组流水让推理与仿真交替推进;训练侧精简 FSDP 包装,环境侧保留缓存、合并中间渲染更新并复用同物理步内的被动力补偿,并将权重同步移入初始化窗口。先消除重复调度与搬运开销,再把串行等待藏到彼此后面。

如下自研能力已完成增量测量。在匹配社区已有开关、同 placement、同超参和同训练工作量下,实测新增 features 使吞吐提升89%(1.89×,单步耗时下降47%),将回馈社区:

同一套系统优化也适用于LingBot-VLA-V1 的 GRPO 训练。在相同基线开关、placement、超参与训练工作量下,V1 模型代码两端一致,实测吞吐提升83%(1.83×,单步耗时下降45%);收益全部来自框架与环境侧新增 features,测量口径同 V2。

本次 base 为 RLinf v0.4 加 V2 集成,两端均开启社区已有 bootstrap/actor 重叠,关闭 actor torch.compile 与 env offload。新增增量是去噪图与 offload 协同、权重同步重叠、跨 stage 组重组及 FSDP、缓存管理、动作块渲染更新合并与步内补偿复用;1.89×为这套新增 features 的端到端净收益。两端保持相同的轨迹数、group size、global/micro batch、更新次数、控制步上限与去噪步数,不跳过零优势组或训练更新;仅裁剪未消费的静态相机,保留 head 与双腕。CUDA/VMM 实现与通用调度机制分层。

同样重要的是验收边界:两端均统计稳态窗口,覆盖 reset 清理周期并将清理尖峰计入均值。算法审查未发现近似或训练跳步,denoise graph/eager 同输入校验逐位一致,但不将整个随机训练称为逐位无损。历史独立精度实验中,两版经相同短程训练后,在同一组 evaluation 场景上成功率均为100%。


结语


回看这条四阶段路径,有几点值得留给后来者:

  • 平台接入的架构姿势决定合入质量,模型迁移的工程形态决定可维护性。 把"厂商镜像提供 torch 栈"抽象成通用框架、把设备差异收敛到 Accelerator Manager 统一注册点,SUPA 支持得以以小体量 PR 合入主干;把庞大的单一适配 diff 收敛成镜像模块路径的 patch carrier,则让模型迁移变成可启停、可 review、可验证的一等公民。

  • 精度对齐是审计工程,不是曲线目测。 从 env 交互与初始权重,到逐 step tensor schema,再到前反向逐层计算、三类 worker 单元测试,每层证据都携带 worker 归因,训练侧、采样侧、环境侧的责任面各自独立,抓出过连配置文件对照都发现不了的隐式偏差;面对零梯度、loss 贴地却无异常栈的静默失效,先用 loss 轨迹门限自动告警,再沿数据流反向逐桶收窄,并配合开环回放把"前向是否等价"变成可判定命题——模型迁移阶段踩到的三类梯度消失问题(reward 全零、loss_mask 错位、零梯度与后向断裂)几乎全部由环境侧或数据侧证据直接归因,省掉的是对平台的大量错误怀疑。

  • 跨平台性能结论必须声明口径,RL 系统优化先看利用率再写 kernel。 稳态 vs 冷启动、attention 模式control run、训练范围/观测分辨率边界——每个可能产生"假倍数"的变量都要单独消融;正结果和负结果都要如实披露。仿真上 GPU 之后瓶颈转到推理 launch、FSDP 调度与训推之间的权重交接,消除开销、让串行段相互重叠的空间远大于算子微调——这些系统级能力将回馈进 RLinf 原生框架。

下一步方向已经清晰:扩大可训练参数范围并重新验证显存与收敛、周期性权重同步下的长程训练、真实相机 + 官方 denoise steps 的 task success 收敛对比,以及将各等价 fallback 逐步替换为壁仞原生高性能算子。

与模型侧工作并行的是壁仞在精度方法论上的持续投入。围绕精度定位与训推一致性,我们已沉淀出训练侧逐层逐步精度采集、跨平台 tensor 级审计与数值指纹比对、训推两侧一致性与漂移检测等能力;这些正在收拢为端到端的精度对齐 skills——把"定义对齐口径 → 采集比对 → 定位劣化起点 → 收敛修复方案"固化为可复用流程。目标很明确:让每一次模型适配、每一次平台接入,都能以一键精度对齐完成从"发现不一致"到"定位根因"的闭环。

至此,这条路径的三个台阶已经清晰可见:从"能跑通",到"可信地快",再到"可一键验证"。壁仞与 RLinf 社区会继续一起走下去,持续提升具身智能强化学习在国产GPU平台的落地能力。


更多动态

释放无穹智能,让AGI触手可及

联系我们,获取定制化 AI 基础设施解决方案

释放无穹智能,让AGI触手可及