贾浩楠 发自 凹非寺

量子位 | 公众号 QbitAI

这阵仗，究竟是谁组的局？

名单上列出的名字，随便拎一个出来都是响当当的大佬：李飞飞，ImageNet的奠基人，身兼美国三大科学院院士头衔；Trevor Darrell，伯克利BAIR实验室联合创始人，他开发的Caffe深度学习框架，曾一度是计算机视觉领域应用最广的平台之一；Jitendra Malik，R-CNN核心贡献者，深刻重塑了计算机视觉的发展路径，同样是三院院士；Pieter Abbeel，深度强化学习领域的先驱人物，不仅担任伯克利机器人学习实验室主任和BAIR联合主任，还手握ACM计算奖；Ken Goldberg，机器人学界的泰斗级人物，早在30年前就开始深耕机器人抓取与自动化研究，IEEE会士；Jim Fan，英伟达GEAR实验室负责人，被公认为具身智能领域最受关注的年轻学者之一。

……

具身智能学术界，恐怕头一回迎来如此豪华的全明星阵容。

从模型、算力到本体、数据，这些在各自细分赛道如雷贯耳的“大腕”齐聚一堂，目标却出奇地一致——聚焦灵巧手。这就让人不禁好奇：他们关注的并非当下炙手可热的机器人通用大脑，而是这个看似微小却极具挑战的部件。

T-Rex项目缘何而起？它要攻克什么难题？

自动驾驶或许能靠纯视觉方案解决问题，但机器人，尤其是灵巧手，这条路走不通。这是一个直观且浅显的事实：

当手指和手掌进行精密复杂的操作时，仅靠摄像头记录运动数据远远不够。

暂且不说360°无死角视频产生的海量数据量，光是机位的布置就难如登天。不同任务类别难以像自动驾驶那样形成标准化的数据集，导致模型泛化能力受限。

因此，给模型引入触觉这一数据模态，成了一石三鸟的策略：感知精度更高、操作更精准细腻，且能构建较为标准的数据集。

但反常识的一幕发生了：

同样的灵巧手、同样的任务，T-Rex团队将触觉力信号直接拼接到一个预训练好的VLA模型中，试图为其“加点手感”——结果任务成功率不升反降，从17%跌至6%。

触觉并非想加就能加的简单事，论文将其原因拆解为三层障碍。

第一层，数据成本高昂。

现有的大规模机器人数据集多面向平行夹爪设计——两根手指一捏一放，遥操作门槛较低。相比之下，灵巧手拥有22个自由度，操作员需佩戴数据手套，每一个手势都要精确映射至机械手，同时保证视觉、触觉及关节状态严格对齐。目前，灵巧手遥操作的成本是平行夹爪的5到10倍。

第二层，频率难以匹配。

视觉模型处理一帧图像往往耗时数百毫秒，刷新率仅能达到5到10Hz。而触觉反应需毫秒级响应，至少20Hz以上才能捕捉到“正在滑”与“已经滑”的临界点。

若将两种信号塞入同一个低频Transformer中，视觉来不及看，触觉来不及应。

第三层，表征过于浅薄。

许多方法将触觉简化为一个静态数值——“当前压力5牛顿”。然而，触觉本质上是时序信号：滑动、插入、按压、搓动，每种接触状态都伴随着力随时间变化的独特模式。

问题既已明确，不妨看看T-Rex团队交出的答卷。

在12项真实世界的灵巧操作任务中，T-Rex平均成功率达到65%，比最强纯视觉基线的35%高出30个百分点。

翻书页任务中，96%对68%；开锁任务中，70%对0%——纯视觉方案在此类任务上遭遇全面碾压。

消融实验结果更为直接：一旦移除T-Rex的触觉输入，成功率从65%滑落至42%，降幅达23个百分点。这意味着，在12项任务中，超过三分之一的有效操作纯粹依靠“手感”支撑。

数据效率同样令人惊叹：仅使用10条微调演示时，经过中期训练的T-Rex能达到约40%的成功率，而未经历中期训练的模型则直接归零。

这表明模型并非机械“背诵”数据，而是真正理解了“搓”、“捏”、“拧”等动作背后的通用手感。

简而言之：对于灵巧手而言，视觉数据本质上是不够的——触觉不是锦上添花，而是必选项。

谁先解决“触觉如何接入”的架构难题，谁就能在灵巧手赛道占据先机。

具体是如何实现的？

T-Rex的核心思路并不晦涩——为触觉单独开辟一条高速通道，而非让其与视觉挤在同一条慢车道上。

整体架构命名为Mixture-of-Transformer-Experts（混合Transformer专家），三位专家分工明确。

Latent Expert负责处理视觉和语言，预测未来的视觉表征，相当于为模型提供“接下来会发生什么”的全局视野。

Action Expert执行低频动作规划，参数量高达1.41B，是三位专家中体量最大的，运行一次即可管控一个动作块。

Tactile Expert专注于高频触觉精修，参数量仅为0.62B，轻量级设计使其能够频繁触发。

关键机制在于Cascaded Flow Matching（级联流匹配）：

扩散去噪通常需经历10步，才能从随机噪声中还原出清晰的动作轨迹。T-Rex在第4步处将其一分为二：

前6步由Action Expert完成，生成一个“大方向正确但缺乏手感细节”的半成品；后4步则由Tactile Expert接手，注入实时触觉数据以完成精修。

为何选定第4步？作者团队通过实验对比发现：切分过早，Action Expert的去噪步数不足，无法继承大规模人类视频预训练获得的先验知识；切分过晚，动作分布已然定型，触觉信号介入也难以修正。

第4步恰好处于“轮廓已现，细节可调”的黄金节点。

这好比撰写文章：主编（Action Expert）确立大体框架后便去处理其他事务，四位编辑（Tactile Expert）在不同节点轮番校对细节，无需主编每次都重返全文审阅。

触觉信号的编码方式是另一项关键设计。

触觉传感器存在零点漂移和高频噪声，若直接将原始电压值喂给模型，模型极易将传感器噪声误判为接触特征并加以学习。

T-Rex利用VQ-VAE算法，将过去16帧（约0.5秒）的力历史压缩为64个离散码字。不同的接触状态——如按压、插入、滑动——会被自动聚类至不同的码字中。

如此一来，传感器漂移得以过滤，触觉信号也变得可解释——我们可以清晰看到模型“理解”了何种类型的接触。

还有两个工程细节，虽未写入论文正文，但从事灵巧手工程化的人员一看便知。

其一，让码本“活起来”。VQ-VAE码本在训练时常出现“码本坍塌”现象——大部分存储单元闲置，少数几个塞满杂乱状态。T-Rex的做法是定期检查闲置单元，主动填入数据以“激活”它们，确保所有码字均被充分利用。

其二，赋予“有手感”时刻更高权重。为避免模型将90%的精力耗费在易于学习的“零接触”状态上，从而忽略真正有价值的接触瞬间，T-Rex给予高力帧更高的学习权重，迫使模型将算力集中在关键接触点上。

最后是训练策略。

T-Rex采用三阶段训练法：

首先，在大规模人类视频上进行预训练（累计22,889小时），让模型掌握“人类如何运动”；

其次，利用100小时遥操作数据进行中期训练，覆盖207种物体和22种动作基元——旨在将人类视频中的运动知识迁移至机器人本体，而非死磕单一具体任务。

最后，使用约100条任务演示进行后训练，快速适配特定需求。

其中最核心的环节是中期训练，它解决了一个根本性问题：人手抓杯子的方式与机械手抓杯子截然不同，策略各异，受力反馈也大相径庭。若直接用人眼视频训练出的模型操控机器人，它将不知如何将“所见”转化为“所做”。

中期训练正是用100小时的遥操作数据来填补这道鸿沟。它不让模型死守某一具体任务，而是让其接触207种物体与22种动作基元的组合，理解“搓”这一动作在不同物体上的执行差异、“捏”这一动作所需的力度大小。

这犹如一人学完游泳理论后，在浅水区分别练习蛙泳、自由泳和仰泳——不求速度，只求“会用”。

有了这一基础，最后阶段仅需100条任务演示即可快速适配——因为模型已知晓“手感”为何物，只需明确“用在哪里”。

T-Rex的技术路线清晰地指向一个判断：在灵巧操作中，视觉与触觉并非主从关系，而是并行关系。

它通过异步架构解决了频率不匹配的底层矛盾，借助一套时序编码将漂移的传感器信号转化为可解释的离散词汇，并以一组基元组合的覆盖策略取代了特定任务的深度堆叠。

这三件事单看虽非“发明新数学”，但组合在一起，为灵巧手的触觉利用提供了一套可复用的系统方案。

灵巧手存在一个“第一性原理”吗？

眼下，灵巧手赛道最激烈的争论集中在两个维度：关节运动形式和自由度数量。

是腱绳还是连杆？丝杠还是齿轮？11个自由度是否足够，抑或需增至27个？不同厂商各执一词，技术路线远未收敛。

这些争论当然有意义——传动方案决定成本、可靠性和使用寿命，自由度决定灵巧程度的上限——但学术前沿的核心关切，并不在这些问题的任何一个之中。

因为一个更深层的问题鲜少被讨论：拥有了这些硬件，算法能否驾驭好它们？

传统大模型范式几乎以视觉数据为主导，缺乏针对触觉模态的有效利用方案。T-Rex论文中那个从17%跌至6%的实验，恰好印证了这一点——并非触觉无用，而是现有多模态大模型架构无法消化触觉信息。

T-Rex团队探索的最大价值或许正在于此：跳出硬件参数的争论，回归一个更根本的问题——灵巧手进行精细操作，究竟需要何种数据？

关节形式和自由度数量解决的是“能不能动”的问题，触觉数据解决的是“能不能感知和反应”的问题。由此衍生出对所需触觉数据体系的系统性思考，并给出了一种可泛化的解决方案。

当然，T-Rex这项研究的顺利推进，离不开Sharpa Wave提供的硬件基石——22个自由度、180Hz高频触觉信号以及稳定的传感器输出。

灵巧手的硬件天花板被抬高，T-Rex才能在算法层面去触碰这一上限。

反过来，T-Rex的算法探索也给硬件提出了新要求：手掌区域需具备触觉感知能力，不同传感器的数据格式需要统一。

T-Rex的软件探索与SHARPA的硬件进展，后续可能会为该细分领域带来更深刻的变革。

首先，灵巧手可能从具身智能本体中独立分化出来，成为一个独立赛道——其占整机成本的15%到20%，经济上可行，技术门槛也足够高。

但如果触觉数据成为核心壁垒，灵巧手便不再仅仅是执行器，而是整个感知-决策-执行链条中数据价值最高的一环。谁掌握触觉数据的采集能力和模型训练能力，谁就掌握了议价权。

第二个变化，更多专用场景的具身应用或将受到启发。当前具身智能的主流叙事强调“通用”——用一个模型解决所有任务。

但这一叙事在接触密集型任务上遭遇了瓶颈，因为通用数据中触觉信息的缺失。T-Rex则证明了另一种可能性：在一个足够具体的垂直场景中，运用专用的数据模态（触觉）、专用的架构设计（异步级联）以及专用的数据收集策略（基元×物体），可以取得优于“通用”方案的效果。

这条路径若行得通，将激励更多人去寻找类似的高价值专用场景。

T-Rex的贡献不在于发明了“新数学”，而在于将现有工具整合成一套可用的系统方案，试图建立具身智能触觉数据采集与训练的统一范式，推动灵巧手真正实现规模化扩展。

项目地址：https://tactile-reactive-dexterous.github.io/

作者简介

牛丹彤，UC Berkeley博士候选人，NVIDIA Gear Lab实习生，导师为Trevor Darrell。主要研究方向为具身灵巧手大模型，曾以第一作者或共同第一作者身份在CVPR、ICML、ICLR等国际顶级会议发表论文8篇，领导或主要贡献于T-Rex、EgoScale等项目，目前谷歌学术引用次数超过1100次。

刘卓洋，北京大学元培学院本科生，导师仉尚航，目前在UC Berkeley访问，导师Trevor Darrell。主要从事具身多模态推理大模型研究，曾以第一作者或共同第一作者身份在ICML、ICLR、NeurIPS、ICRA等国际顶级会议发表论文6篇，参与其他论文共计15篇，目前谷歌学术引用400余次。曾获2026商汤奖学金（全国仅30人）、2025北京大学学术新星提名、北京大学元培学院年度科研奖励及北京大学新生奖学金等荣誉。

Trevor Darrell教授，最广为人知的成果是开发了Caffe深度学习库。该库在深度学习领域占据重要地位，为众多研究人员和开发者提供了便捷工具，极大地推动了深度学习技术的发展。