基于触觉的抓取微调模型 TacRefineNet 和机器人 VLA(Vision-Language-Action)大模型 Xiaomi-Robotics-0,它们让机器人不仅拥有“博学的大脑”与“敏捷的身手”,更补上了机器人智能的“最后一块拼图”——触觉感知。
当我们真正从实验室走向汽车工厂,一道巨大的现实鸿沟赫然出现:生产节拍和合格率。在实验室中,可以进行成千上万次的失败迭代,而工厂要求动作精准可靠,生产节拍分秒不差。如何从“学徒工”成长为“正式工”,是机器人面临的硬核考验。
今天我们向大家汇报,在真实汽车工厂里,小米机器人在自攻螺母上件工站中连续自主运行 3 小时的成果:双侧同时安装成功率为 90.2%,同时满足了最快76 秒的产线生产节拍要求。
三小时连续自主作业(成功率 = 成功次数 / 总操作次数)
在该任务中,机器人连续从自动送钉设备中精准抓取自攻螺母,并放置在自攻拧紧的定位工装上,配合滑台输送和自攻工位的自动定位锁定,实现汽车一体化压铸后地板零件自攻螺母的自动化自攻拧紧作业。
其中,难度最高的环节集中在自攻螺母的安装过程,需要确保其与定位销轴的精确对准和可靠贴合。而自攻螺母内侧的花键结构,每次抓取不固定的手内姿态,以及定位销轴上磁吸力带来的拉扯影响,都大幅增加了装配难度。以下是在完成任务时遇到“精准对位”的不同情况:

自攻螺母和定位销轴的结构细节
不同状态下自攻螺母成功安装示例
01 技术实现细节
端到端训练
为应对实际作业中的复杂情况,避免繁琐的规则编程,我们采用了端到端数据驱动的控制方法。在VLA大模型Xiaomi-Robotics-0的基础上,结合强化学习技术,使机器人能够快速适配不同下游工况,并持续从真实物理环境的交互经验中学习,保障其在复杂工况下实现长时间、稳定、高可靠的作业表现。其主要技术特点如下:
•通用 VLA 基座模型:通过统一的动作空间设计与跨本体数据预训练,显著增强模型在操作任务理解、空间感知以及动作执行等方面的泛化能力;
•VLA + RL 联合训练框架:通过引入强化学习有效地降低了对真实机器人遥操作数据的依赖,增强了模型在不同本体和环境下的泛化能力;
•触觉信息融合:在涉及大量密集接触的工厂作业场景中引入触觉反馈,有效提升任务执行过程中的稳定性与鲁棒性。

模型框架与训练流程
多模态感知
为支持任务规划决策和提供在线强化学习的奖励信号,我们融合了视觉、触觉以及关节本体感知等多模态信息,对作业过程进行协同感知与综合判断,显著降低复杂工况下的状态误判概率。
以抓取任务为例,仅依赖视觉感知在光照变化或局部遮挡情况下容易产生不确定性,无法准确判断自攻螺母与手指之间的真实接触状态;而仅依赖触觉信息,则可能受到手指与环境或者手指之间非预期接触的干扰。
头部相机、腕部相机和指尖触觉信息展示
全身运动控制
全身运动控制是机器人稳定作业的基础,我们采用了融合优化控制与强化学习的混合架构,并依据系统稳定性指标对两类控制策略进行选择性执行。在该架构中,优化控制器基于二次规划方法,通过零空间投影机制实现四级严格优先级控制,依次满足平衡约束、安全约束、任务约束以及其他优化指标,单次求解耗时小于1 ms。
强化学习控制器则依托大规模并行仿真平台进行训练。我们对虚拟环境中的数千个机器人进行了上亿次随机扰动与失稳场景的模拟,从而使机器人学会在极端干扰条件下保持平衡的控制策略。该策略可实现零样本迁移部署至真实机器人,保障系统的稳定性与鲁棒性。
02 典型失效案例
前面提到,自攻螺母内侧存在花键结构,且每次抓取在手内的姿态并不固定。若对齐精度不足,极易在旋拧过程中产生卡滞,从而导致装配失败;此外,在实际工况下,机器人受环境干扰或者作业视角受限,也可能影响其对贴合状态的准确判断,进而出现花键与键槽贴合不紧密、安装不到位等问题。
花键贴合不紧密
姿态调整卡滞
03 其他试点工站
自攻螺母上件工站,是小米人形机器人迈出在汽车制造场景规模化应用的第一步。然而,面向更大范围的产业化部署,仍需系统性突破“生产节拍和合格率”这一核心瓶颈,包括移动操作任务中的全身高效协同,以及借助灵巧手提升作业效率等关键技术挑战。为此,小米还在其他很多典型工站开展了实际部署与验证工作,目前正稳步推进中,相关进展将在后续向大家汇报。
料箱搬运工站
04 开源与资源 About Xiaomi Robotics
前期技术方案的细节、实验视频已开放,更多后续工作将很快推出。
•Project Page: https://sites.google.com/view/hil-daft/
• Arxiv: https://arxiv.org/abs/2509.13774
TacRefineNet 和 Xiaomi-Robotics-0相关的工作可参考,
•TacRefineNet: https://sites.google.com/view/tacrefinenet
•Xiaomi-Robotics-0: https://github.com/XiaomiRobotics/Xiaomi-Robotics-0
探索物理智能的边界,我们从不止步。欢迎加入,一起在具身智能领域,拥抱未来。
小米技术
龚淑娟
李峥
本文基于某款电驱动产品发生的花键锈蚀问题进行分析,利用FTA分析法,锁定根因为花键处的润滑油仅能满足润滑要求,无法满足冷却要求,润滑油在高温工况下结焦变质,最终导致花键锈蚀。基于花键结构局部的仿真结果创新性地优化壳体结构,提高了花键处的润滑油量,试验验证后花键未发生锈蚀。
2026-01-21 袁伟林 楚文力 朱慎豪 傅灵玲
随着混动和新能源技术的发展,对汽车油耗的要求越来越高,越来越多的新技术被不断应用到汽车中。 本文阐述了电动水阀的节油原理,通过 AMEsim 仿真平台搭建了电动水阀对某混动车型的油耗影响模型,结果表明,常温环境采用电动水阀能改善油耗 0.6%,而低温环境(-25 ℃)油耗可改善 1.4%。
2026-01-20 刘建祥
随着全球能源危机加深与环境问题日益严峻,混合动力汽车作为一种高效的节能减排方案,正逐渐成为汽车市场的重要组成部分。本文旨在探讨混合动力汽车的各种驾驶模式与动力模式及其适用场景,并深入分析其对应的整车动力实现方式。通过对不同模式的比较与评估,本研究旨在帮助消费者更全面地了解相关技术,同时也为制造商的产品设计与优化提供参考。
2026-01-19 卢娜 李雷 张南
2026-02-26
2026-02-27
2026-02-28
2026-03-02
2026-03-03
2026-02-24
2026-02-24
针对某在研纯电SUV在82Hz附近出现的中频路噪问题,开展系统性的诊断与控制研究。通过主成分分析(PCA)、工作变形分析(ODS)与模态测试,识别出后扭力梁与尾门中部外板局部结构共振为主要贡献源。在此基础上,提出在扭力梁两端增加动力吸振器的优化方案。实车测试表明,该方法可显著降低82Hz附近的噪声峰值,并降低70~100Hz频带整体噪声,有效解决中频路噪问题,对提升整车声品质具有重要意义。
作者:陆日海 邬江 毛光军 李治齐 余靖
评论
加载更多