0 引言

以视觉为核心的智能制造技术已全面渗透到质量检测、零件定位与装配验证等生产环节，支撑柔性制造与小批量多品种生产的快速切换。然而在长期连续运行与复杂工业环境（反光、遮挡、温漂和振动）下，视觉系统与机械臂的几何一致性易逐渐受损，导致定位精度下降与节拍不稳定；同时，传统视觉系统存在数据稀缺、专家依赖度高以及维护成本高等问题，进一步增加了其在中小企业的落地难度。

在螺栓拧紧装配工位中，视觉系统广泛用于孔位识别、姿态校正与装配合格性验证，如何在复杂光照与运动冲击下长期保持手眼关系的一致性，是保证拧紧质量与生产效率的关键。

手眼标定（Hand-Eye Calibration）刻画相机坐标系与机械臂末端（法兰/TCP）之间的刚体变换，是视觉引导定位与装配验证的基础。经典研究多围绕AX=XB或Robot-World/Hand-Eye联合标定展开，并发展出闭式解、对偶四元数表示以及面向重投影误差的优化框架等，能够在受控条件下获得较高精度。但这些方法往往依赖离线批量采集与完整标定板观测，对产线节拍、环境扰动及长期运行中的缓慢漂移考虑不足，难以支撑无人值守的持续维护。

面向在线自校准需求，已有研究从主动位姿规划、滤波/SLAM式外参估计，以及学习型识别配准等方向进行了探索，为自动更新提供了路径。但在拧紧装配等典型工业场景中，仍存在三个关键工程瓶颈：一是现场常见的遮挡或视场裁切会导致“部分可见标定板”观测，易引入不稳定更新；二是在线更新需要兼顾安全性与节拍约束，避免错误标定导致系统失效；三是断电上电等事件后需要快速恢复几何一致性，以减少停机与人工介入。目前工业现场仍普遍采用周期停线、专家复标的维护方式，维护窗口长、成本高，在中小企业场景中尤为突出。

为解决上述问题，本文提出一种面向视觉辅助拧紧工位的在线手眼自校准框架：在不显著影响节拍的前提下，系统自动获取回位过程中的图像与末端位姿，并对观测质量进行筛选以降低不完整观测带来的风险。当数据满足可观测性与数量要求后，执行批处理估计并通过一致性门控实现安全更新，同时对上电等事件设置自动恢复流程，以提升长期运行的鲁棒性与可维护性。本文采用工业常用的基准板与重投影误差建模，以保证可复现与可移植性。

1 螺栓拧紧中的标定工作

1.1 离线手眼标定

离线手眼标定是整个手眼标定过程的起始步骤，如图1所示，其核心目的是在没有实时反馈的情况下，通过高精度的标定方法求解相机坐标系与机械臂末端（或法兰）之间的刚体变换矩阵，即使得AX=XB，其中A和B分别表示机器人末端和相机坐标系在多个不同时间点的位姿。

图1 手眼标定示意

为了实现高精度的离线手眼标定，我们采用了对偶四元数方法结合重投影误差最小化的优化策略。具体来说，对偶四元数能够将旋转和平移统一表示为一个复合的几何对象，从而避免了欧拉角表示中存在的奇异性问题，并能提供更高的数值稳定性。这一方法尤其适用于高精度要求的场景，能够有效避免因标定板部分遮挡或图像噪声而导致的误差扩展。

本文在离线阶段采用对偶四元数解析初始化来提供精确的初始解。具体步骤如下。

（1）数据采集与预处理：首先，采集多个时刻的相机与机械臂位姿数据，确保采集的图像与机械臂位姿之间时间同步。采集的数据包含相机标定板图像与相应的机械臂末端位姿。这些图像和位姿数据是标定的基础。

（2）对偶四元数初始化：在获得多个相机和机械臂位姿对后，利用对偶四元数来初始化手眼变换矩阵。对偶四元数将旋转和平移表示为一个单一的代数对象，可以有效避免欧拉角的奇异性，提供更为稳定的数值解。通过解析方法，我们能够从多个位姿对中解出一个初步的刚体变换矩阵。

（3）重投影误差最小化：在对偶四元数初始化的基础上，我们使用重投影误差最小化作为优化目标，以提高标定精度。重投影误差衡量的是通过相机内参计算出的三维空间点投影到图像平面后，与实际观察到的二维像素点之间的差异。通过最小化该误差，能够获得更为精确的相机和机械臂之间的变换关系。

(4) 鲁棒优化:在优化过程中，采用Levenberg-Marquardt算法进行非线性最小二乘优化，并结合鲁棒核(如Huber核)来处理图像噪声和异常值。LM优化能够有效处理重投影误差，并且鲁棒核能够降低由于离群点(例如部分遮挡、模糊或反光)带来的负面影响从而进一步提高标定精度。

最终标定矩阵计算:通过上述优化步骤，最终得到相机与机械臂末端之间的高精度变换矩阵X_{_offline}。这个变换矩阵将作为后续在线校正阶段的初始值。

1.2 在线自校准方法

在线自校准方法在智能制造场景中针对长周期漂移和外部扰动问题提供了一种高效且自动化的解决方案。具体而言，该方法通过结合图像采集、YOLO模型识别、质量筛选、批量更新与自适应门控等技术，有效减少了对人工干预的依赖，并提高了系统的自动化水平和鲁棒性。以下是该方法的核心步骤：

（1）回位与图像采集：在每次拧紧任务完成后，机械臂自动回归到预设的标定位姿，这一位姿确保相机与标定板对齐。沿回位路径，系统会持续采集图像和记录机械臂的位姿数据。该过程无需人工干预，完全依赖系统的自动回位和采样。

（2）标定板完整性筛选：采集到的图像会被传输至YOLO模型（Handeye-Net），该模型经过迁移学习训练，能够自动判断图像中标定板的完整性。YOLO模型将图像分类为“完整”或“不完整”标定板，并输出一个置信度分数。当置信度高于设定的阈值时，该图像会被认为是有效样本，并进入下一步处理；否则，跳过该图像，避免因部分遮挡或光照变化带来的错误数据。

（3）批量更新与优化：当系统采集到足够数量（15组）经过YOLO筛选后的合格图像后，会根据这些图像与相应的机械臂位姿数据进行手眼标定。此时，系统利用“对偶四元数解析初始化+重投影误差最小化”优化方法，计算出新的手眼标定矩阵X_new，并与旧的标定矩阵X_old进行比较。

（4）一致性检验与更新：通过计算平移差Δt和旋转差Δθ，系统判断新旧标定矩阵之间的差异。如果平移差小于0.18mm且旋转差小于设定阈值0.5°，则接受新的标定矩阵并更新。否则，保持旧矩阵，避免误更新。系统还会进行影子验证，在多个周期内对新标定结果进行验证，以确保更新的稳定性。

（5）事件触发与紧急恢复：如果检测到断电或其他异常情况，系统会自动启动快速重标定流程，回到预设的15个位姿进行图像采集与标定更新。通过这种方式，即使在系统异常的情况下，也能确保标定精度尽快恢复，避免长时间的人工干预。

1.3 目标可见性与质量评估

在工业应用中，由于反光、遮挡等因素，标定板往往难以在每次采集过程中完整显示。因此，如何准确筛选出完整标定板成为在线标定方法成功应用的关键。为了避免部分遮挡或图像质量差的标定板影响标定结果，目标完整性评估技术得到了广泛应用。

传统方法多依赖于显式的图像处理算法，如基于图像梯度或角点检测的部分标定板剔除，这些方法需要人工设置一些规则或阈值，较为繁琐且对环境变化敏感。近年来，随着深度学习技术的进步，基于YOLO或FasterR-CNN等目标检测网络的完整性检测方法被提出。通过迁移学习和数据增强，这些方法能够高效识别图像中是否存在完整的标定板，并剔除不符合标准的图像样本。

为解决这一问题，本文使用Handeye-Net模型进行标定板完整性检测，采用迁移学习对YOLO进行训练，使其能够识别“完整”和“不完整”的标定板。Handeye-Net能够基于训练数据自动判定每个图像中的标定板是否符合要求，进一步提高了在线标定的精度和稳定性。此外，结合YOLO模型输出的质量评分，我们可以动态调整采集样本的质量，以确保每次标定的可靠性。

2 系统总体设计

2.1 硬件与工装

机械臂与末端执行器:采用AuBoi5机械臂(额定末端负载6kg)，末端搭载电动拧紧枪。采用眼在手上(Eye-in-Hand)安装方案，相机刚性固定在末端法兰侧面;支架采用加肋铝合金材质，通过止付螺钉+螺纹胶进行防松处理。系统涉及的坐标系定义如下:Base(机械臂基座)/E(末端法兰)/TCP(工具坐标)/C(相机)/G(标定板)/W(工位世界系)。坐标关系如图2所示。

图2 坐标关系

标定板:采用高精度9x12棋盘格标定板(可替换为等价圆点阵)，单元边长a=20~30mm，有效尺寸200mmx275mm;基板为铝基，表面采用哑光黑白喷涂或贴膜以避免高光；制造公差要求边长误差≤0.02mm，正交度误差≤0.01°，整体平面度≤0.05mm。标定板刚性安装在工装上，法向与相机回位视轴近似同向；其在世界坐标系下的位姿TWG通过一次性高精度离线测量获得。

相机与成像系统：采用IntelRealSenseD435相机，内参与畸变参数通过离线针孔+Brown-Conrady模型标定获得。采集参数设置RGB分辨率1280×720@30fps，固定曝光与增益，关闭红外结构光投射；回位段采用短曝光时间以减小运动模糊。镜头对焦后用胶点固定，相机支架法兰的装配面对齐并记录拧紧力矩。

2.2 软件与数据流

系统软件采用模块化设计，包含5个核心节点，数据流如下：

（1）数据采集节点：输入机械臂状态与相机视频流，输出时间同步后的帧位姿对。

（2）YOLO筛选节点：输入图像，输出标定板完整性标签{complete，incomplete}、置信度S_k与质量分q_k（融合可见面积、边界裕度、角点数量等）。仅当标签为complete且置信度高于阈值时，样本进入合格帧队列。

（3）触发与策略节点：输入合格帧队列与电源状态事件，实现三个功能：①从单次回位序列中选取3～5张视角分散的完整帧组成1组样本；②累计15组有效样本后触发手眼标定；③监测断电-上电事件，触发预设15个位姿的快速采集流程；同时执行阈值门控与影子验证策略。

(4) 手眼标定节点：输人15组样本，每组含3~5张完整帧与对应。对每帧以PnP解出，组内相对化得到B; 由A与B用对偶四元数求初值;以重投影误差为目标做鲁棒LM精化，得。输出新手眼矩阵X_new、收敛报告与协方差估计。

(5) 上电监测与门控节点：输入电源/控制柜上电状态、X_old、X_new。计算平移差Δ_t与旋转差Aθ，公式如下:

若Δ_t≤0.18mm，且Aθ≤0.5°，进人影子链路验证N_s，个循环后平滑更新，否则拒绝并报警(数据结构与接口:图像帧为Image，包含时间戳、分辨率及曝光信息；末端位姿：;相机内参:K+畸变参数；标定结果消息:HandEyeSolution。

3 核心方法

3.1 连续采样与位姿记录

为在不增加节拍的前提下获得分布合理的观测，规划从作业点到“相机正对标定板”的回位轨迹{q(t)}，沿途以固定频率 f_s 触发采样，在每个采样时刻t_k，同步记录图像帧 I_k 与机械臂末端位姿（基座到末端的变换），可选记录电批/IMU加速度RMS、曝光等元信息，用于异常诊断与回放，系统优先采用硬件时间同步，或以延迟标定实现软同步以保证图像与位姿对齐误差＜5ms，随后进入完整性筛选，若帧被判定为“部分标定板”则不进入后续估计。

3.2 标定板完整性检测

针对每帧图像帧I_k，Handeye-Net输出“完整/不完整”类别与置信度s_k；以验证集网格搜索得到的阈值τ进行判定，若 sk≥τ 则视为“完整板”对一次回位序列的完整帧集合，按“置信度优先+多样性约束”选择m_i=3～5张组成第 i 组 G_i，多样性可通过时间间隔去重(Δt≥Δt_min）、位姿差阈值 和最大化像面可见面积/边界裕度差异实现，以提升整体可观测性并抑制同质样本。

3.3 角点提取与亚像素优化

如图3所示，对入选“完整板”帧执行角点检测与亚像素精炼：先用棋盘格/圆点阵检测获得初始角点，再以cornerSubPix精炼至收敛，若角点数量、几何一致性（行列单调、等间距）不达标，则将该帧回退为“不完整”并在组内替换，随后利用EPnP+RANSAC解出标定板相对相机位姿 并保留内点集，为重投影优化提供稳定观测。

图3 角点提取

3.4 手眼标定求解

目标是估计相机到末端的刚体变换。首先在每组 G_i 中选参考帧 r，对任意帧k构造手系与相机系相对运动，收集为(通常N15)，满足A_jX=XB_j; 初始化阶段并行实现Tsai-Lenz/Park-Martin与对偶四元数(DQ)两套解析法以交叉校验，采用DQ初值  作为主解提高旋转-平移耦合稳定性; 精化阶段以X₀。为初值在李代数上执行LM/GN，最小化总重投影误差 ,其中π(・)为针孔投影(含畸变)、P(·)为Huber/Geman-McClure鲁棒核，采用右乘更新; 收敛后输出质量度量: 重投影均方误差与约束一致性残差

3.5 新旧矩阵一致性检验与更新策略

令旧矩阵、新解，定义平移差与旋转差且(可选)Aθ≤0.5°，同时满足重投影误差显著改善时，系统采纳新解并通过影子链路验证N_s个生产周期的端到端指标(重投影、3D/法向误差、一致性)，验证通过后以 进行平滑更新;若任一条件不满足，则保持旧矩阵不变并触发告警。

3.6 断电事件触发

系统实时监听控制柜电源状态，检测到“断电－上电”事件后，跳过任务累计流程，直接执行预设的15个已通过视场与避障验证的观测位姿采集。按照完整标定流程完成一次强制重标定，随后依据门控规则与影子验证进行更新或回退，确保在最短时间内恢复系统精度与生产一致性。

3.7 异常与报警机制

在线链路设置分级告警与自恢复：A级为可自愈异常（如单次回位YOLO持续不完整、角点不足、PnP内点率过低），通过提高曝光/缩短快门、清洁板面、限幅下调阈值τ或追加一次回位采样自动恢复；B级为需人工关注（如上升、不收敛、Δt>0.18mm或∆θ>0.5°），系统冻结更新、保留数据包（图像+位姿+时间戳）并提示检查支架与工装，同时触发“断电分支”的15位姿快速复核；C级为安全停机建议（如图像与位姿严重不同步>20ms、相机内参与现场成像不一致、IMU/电批振动超阈），系统停用在线更新并转入离线复标与硬件复检；所有事件均记录日志（时间、阈值、快照及误差指标）用于追溯与阈值再训练，且对可自愈事件限定重试次数（3次），超过即升级为B级。

4 训练集与模型设计

4.1 训练集与标注

为训练Handeye-Net模型，如图4所示，采集了3000张图像作为数据集。图像采集使用IntelRealSenseD435相机，覆盖了不同的光照、角度、遮挡以及反射情况，以增强模型的鲁棒性。所有图像均由人工手动标注，分为完整标定板和不完整标定板两个类别。这些样本按照8：1：1的比例划分为训练集、验证集和测试集。

图4 标定板照片

为提高模型的泛化能力和鲁棒性，我们对训练集进行了数据增强，具体方法如下。

（1）遮挡：随机遮挡标定板的部分区域，以模拟生产环境中的部分视角遮挡；

（2）模糊：对部分图像应用模糊滤波，模拟低质量拍摄情况；

（3）光照变化：通过调整亮度、对比度以及伪造不同光照条件（如曝光过度或过暗）来增强模型对不同光照条件的适应能力。

4.2 模型设计与优化

4.2.1 YOLO基础模型

基于YOLOv5进行模型训练，YOLOv5是一种高效、实时的目标检测模型，具有较好的精度和推理速度。YOLOv5的原始结构包括一个深度卷积网络主干、一个用于检测任务的输出头，以及一个用于后处理的NMS模块。目标是对该模型进行轻量化处理并引入注意力机制，以提升检测精度和推理速度，尤其是处理包含不完整标定板的困难样本时的鲁棒性。

4.2.2 轻量化处理

为了提高推理效率并减少计算负担，特别是在工业应用场景下对实时性要求较高，对YOLOv5进行了轻量化处理。主要改进如下。

（1） 主干网络修改：原始YOLOv5使用CSPDarknet53作为主干网络。我们将主干网络替换为更轻量化的MobileNetV3，这个网络具有较高的计算效率，适合嵌入式和低资源设备。

（2） 通道裁剪（ChannelPruning）：采用基于权重的通道剪枝方法，在训练过程中逐步裁剪冗余通道，进一步减少计算量和模型大小。

（3）深度可分离卷积：用深度可分离卷积代替常规卷积操作，从而减少计算复杂度，同时保持较高的模型表达能力。

4.2.3 注意力机制引入

为了增强模型对重要特征的聚焦能力，在YOLOv5的基础上引入了注意力机制。具体方法是结合Squeeze-and-Excitation（SE）模块和注意力卷积来强化特征选择。具体改进如下。

（1）SE模块：该模块通过对每个通道的权重进行自适应学习，来调整网络对每个通道的关注度。我们将SE模块嵌入到YOLOv5的主干网络中，以帮助网络在特征图中选择更重要的通道，从而提高目标检测的准确性，特别是在复杂环境下。

（2）CBAM模块：该模块通过逐像素的空间注意力和通道注意力机制进一步增强网络对关键特征的关注。CBAM模块不仅帮助网络学习最相关的通道特征，还在空间维度上关注重要区域，进一步提高了模型在遮挡、光照变化下的鲁棒性。

4.2.4 主干网络修改

YOLOv5的主干网络较大且计算密集。为适应工业现场的低功耗需求，将主干部分替换为MobileNetV3，该网络结构在保证较高精度的同时显著减少了模型的参数量和计算复杂度。MobileNetV3结合了高效的深度可分离卷积和注意力机制，非常适合实时处理低资源环境中的图像任务。

4.3 模型训练与评估

4.3.1 训练配置

（1）输入分辨率：采用1280×720输入尺寸，在小目标识别和推理速度之间进行权衡。

（2）训练策略：使用Adam优化器，学习率初始值设置为0.001，并使用Cosine Annealing学习率衰减策略。

（3）损失函数：采用YOLOv5原生的损失函数，包括置信度损失、边界框损失及分类损失，同时对于部分遮挡的标定板，我们对损失函数做了调整，以增加对部分标定板和低质量图像的鲁棒性。

4.3.2 性能评估

我们使用标准的检测性能评估指标，如mAP（mean Average Precision）、IoU（Intersectionover Union）和推理时延，来评估模型性能。

（1）mAP@0.5：表示模型在IoU阈值为0.5时的平均精度，越高表示模型的检测精度越好。

（2）推理时延：在Inteli7处理器上测试，模型的平均推理时延约为30～50ms，满足实时检测要求。

5 试验评测

5.1 数据与场景

在真实产线复现场景中开展评测：共进行3000次拧紧任务、600个回位周期，相机标定板距离取多档（0.5m/0.7m/0.9m），相机与标定板法向夹角分层（0˚～10˚，10˚～20˚，>20˚)，并包含断电上电测试组（每次上电立即执行预设15位姿快速重标定）。每个周期按流程采集并在线求解；为公平对比，所有方法共用同一套回位轨迹与同一YOLO/角点检测配置。环境因素（温度、照度、遮挡比例与类型）由独立日志记录，并将样本按工况分层统计。手眼标定结果如图5所示。

图5 手眼标定结果

5.2 对比基线

设置四组具有代表性的基线。

（1）离线人工标定:生产开始前用标准板离线求得X₀，全周期固定不更新。

（2）无YOLO筛选：直接使用所有回位帧进入手眼估计（保持15组、3～5张/组的分组数，但不做完整性过滤），检验质量筛选的价值。

（3）单阈值vs双阈值门控：仅用平移差∆t门控（0.18mm）与平移+旋转双阈值（0.18mm+0.5˚)对比其对安全性与可用性的影响。

（4）AX=XB解法对比：Tsai-Lenz与对偶四元数（DQ）两种初始化，在相同的重投影LM精化与门控配置下对比收敛精度与稳定性（入模误差分布、异常率）。所有组别使用相同超参（采样频率、组数、LM迭代与鲁棒核），仅修改被评对象。

5.3 结果

与传统的仅进行离线手眼标定的结果相比，在线手眼标定方法在拧紧成功率、定位精度以及系统响应速度等方面均有显著提升。

（1）拧紧成功率提升：通过引入在线手眼标定，拧紧成功率提升了0.67%。这意味着相机与机械臂之间的变换矩阵能够实时更新，显著降低了由于温漂、振动等外部因素导致的误差积累，提高了生产过程的稳定性。

（2）定位精度提升：在线自校准方案使得每次拧紧任务的定位误差降低了约10%。这种精度的提升对于高精度的螺栓定位和拧紧尤为重要。

（3）节拍增量降低：在线标定方法在保证高精度的同时，还有效降低了节拍增量。在试验中，节拍增量控制在0.18s以下，比传统的离线标定方法显著缩短了生产周期。这一改进提高了生产效率，使得系统更适合大规模的生产环境。

（4）鲁棒性提升：在线手眼标定在各种复杂工况（如温度变化、光照变化及部分遮挡等）下表现出了更高的鲁棒性。特别是在断电后，通过快速重标定，系统能够迅速恢复标定精度，避免了长时间的精度衰退。

6 结语

本文针对螺栓拧紧工位在长期运行过程中因振动、断电重启、温度变化和工装轻微位移导致的手眼关系漂移问题，提出了一种视觉辅助的在线手眼自校准方法。该方法通过机械臂自动回位采集标定板图像和末端位姿，结合标定板完整性筛选、手眼矩阵批量求解、重投影一致性检验和门控更新策略，实现了小幅位移扰动后的自动恢复。实验结果表明，该方法能够在典型生产扰动场景下减少人工重新标定次数，缩短恢复时间，并降低因手眼关系漂移造成的拧紧失败风险。

与传统离线标定方法相比，本文方法的主要在于提供了一种可嵌入生产流程的自动检测、自动求解和安全更新机制，使视觉引导拧紧系统在发生可恢复位移扰动后能够快速回到可用状态。后续工作将进一步结合多相机观测、外部测量基准和更完善的漂移诊断策略，提高系统对复杂扰动和较大位移变化的适应能力。

参考文献

[1] WERHEID J, BEHNEN H, WOLTERSMANN J H, et al. Machine vision in manufacturing SMEs: a review[J]. Discover Applied Sciences, 2025, 7(5): 1-23.

[2] 常琛扬 , 王平安 , 李秉洋 . 基于机器视觉的双臂协作 机器人拧紧装配试验研究 [J]. 制造技术与机床 , 2023, (5): 94-97. DOI: 10.19287/j.mtmt.1005-2402.2023.05.012

[3] TSAI R Y, LENZ R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics and Automation, 1989, 5(3): 345-358.

[4] WEI G Q, ARBTER K, HIRZINGER G. Active selfcalibration of robotic eyes and hand-eye relationships with model identification[J]. IEEE Transactions on Robotics and Automation, 1998, 14(1): 158-166.

[5] OLSON E. AprilTag: A robust and flexible visual fiducial sy stem [C ]//2011 IEEE Inte rnational Conference on Robotics and Automation (ICRA). IEEE, 2011: 3400-3407.

[6] H O R A U D R , D O R N A I K A F . H a n d - e y e calibration[J]. The International Journal of Robotics Research, 1995, 14(3): 195-210.

[7] CHRISTIANSEN L, ANTONEN M, BASAR M, et al. Identification of barriers to and opportunities fo r adoption o f machine vision fo r small and medium-sized enterprises[EB/OL]. 2022. https://doi. org/10.1109/ETFA52439.2022.9921607, 2026-05-15.

[8] K O N S TA N T I N I D I S F, M O U R O U T S O S S , GASTERATOS A. The role o f machine vision in Indust ry 4.0: an automotive manu factu ring perspective[EB/OL]. 2021: 1–6. https://doi. org/10.1109/IST50367.2021.9651453, 2026-05-15.

本文为“AI汽车制造业”首发，未经授权不得转载。版权所有，转载请联系小编授权（VOGEL100）。本文作者：朱智涛，单位：吉利汽车控股（上海）有限公司。责任编辑龚淑娟，责任校对何发。本文转载请注明来源：AI汽车制造业