0 引言

在智能汽车时代，车载座舱不仅是交通工具的一部分，更是家庭出行的重要生活空间。尤其对于有小孩子的家庭，行车过程中的儿童情绪管理已成为影响行车安全与驾乘体验的关键因素。

现有车载娱乐系统虽能提供音乐播放、导航等功能，但在针对儿童的个性化互动方面存在明显短板：内容预设固定、交互模式单一、缺乏年龄与情绪适配性，导致家长在孩子哭闹时难以有效应对，从而加剧驾驶疲劳并增加安全隐患。

近年来，随着车载算力的提升和端侧大模型技术的发展，实时个性化内容生成与多模态交互成为可能。结合车内摄像头、声音传感器与AI算法，构建具备儿童特征识别、情绪分析、内容生成与动态反馈能力的车载虚拟人物系统，是提升智能汽车人机交互水平的重要方向。多模态交互（语音+表情+动作）在车载虚拟人物系统中具有显著优势，能增强儿童参与度与互动真实感。

本文旨在设计并实现一种基于端侧大模型的车载虚拟人物系统，以解决现有儿童安抚功能智能化不足的问题，提升儿童乘车过程中的娱乐性、教育性与安全性。

1 系统总体架构

本系统采用“感知→认知→生成→交互→反馈”五层分层架构，如图1所示。其设计逻辑遵循自下而上的数据驱动与自上而下的策略反哺双循环机制。感知层通过车载摄像头与传声器实时采集儿童视觉与语音信息，经预处理后输入认知层，完成年龄阶段、情绪状态等多模态特征识别。生成层结合用户动态画像与识别结果，实时生成故事、谜语和儿歌等个性化互动内容，并由交互层通过3D虚拟人物以语音、表情和动作协同方式进行输出。交互过程中产生的行为数据将回传至反馈层，用于画像更新与策略优化，再将优化后的策略反哺至认知层与生成层，从而形成“感知→认知→生成→交互→反馈→再感知”的持续闭环优化链路。

图1 系统五层架构

1.1 感知层

通过车内高帧率摄像头和阵列式降噪传声器采集儿童的视觉图像与听觉语音信号，经预处理去噪和人脸姿态校正后，为后续特征识别提供高质量原始数据。该层作为系统数据入口，是后续所有智能分析的基础。

1.2 认知层

集成AI识别模块，依托端侧大模型跨模态融合推理能力，利用深度学习算法对儿童年龄、性别和情绪状态进行实时联合分析。年龄识别按0～3岁、4～6岁、7～12岁三段分龄预测，性别识别融合面部轮廓与语音频谱特征，情绪识别同步捕捉面部微表情与语音语调，精准判别哭闹、烦躁、平静、开心等状态。

1.3 生成层

基于端侧轻量化大模型（Transformer架构+儿童语言微调）构建自然语言生成系统，根据认知层输出的儿童特征标签与情绪状态，结合用户动态画像，实时生成定制化互动内容（故事、谜语和儿歌等），支持主题定制与风格适配。

1.4 交互层

作为虚拟人物与儿童情感交互的核心，依托车载端侧大模型，融合高精度语音识别与表情合成技术，实现全流程本地交互。鉴于车载儿童语音、人脸及对话数据涉及隐私安全，系统摒弃传统云端传输架构，将语音解析、语义理解与交互逻辑全部在端侧离线完成，从根源规避隐私泄露风险。系统可本地适配儿童碎片化表达、方言口音及中英双语混合场景，借助端侧大模型的上下文理解能力突破固定脚本限制，根据儿童实时情绪与表达习惯智能生成对话内容；同时联动虚拟人表情合成，同步匹配神态、唇形与语速，实现自然拟人化交互。

1.5 反馈层

构建完整的用户交互闭环与自优化机制，并依托端侧大模型实现本地数据分析与策略迭代。它将儿童的交互行为、情绪变化和内容偏好等数据统一存储于车载本地，仅用于内部模型优化，不上传、不泄露，有效保护用户隐私。借助端侧大模型对历史交互数据进行归纳分析，系统挖掘不同年龄段儿童在多种情绪状态下对儿歌、故事或科普内容的喜好规律，并据此自主优化安抚逻辑、内容推送及交互策略，形成“交互→存储→分析→优化”的闭环迭代，持续提升系统的个性化适配能力与智能服务水平。

2 关键技术实现

上述五层架构为系统提供了宏观设计框架，以下各节分别对架构中的关键功能模块展开详细设计与实现，系统整体运行流程如图2所示。

图2 系统整体运行流程

2.1 儿童特征识别模块

本模块通过车载多模态传感器同步采集儿童面部图像与语音数据，结合端侧大模型与深度学习算法实现多特征识别。为保护隐私，图像采集、语音收录、特征提取及推理过程均在车载本地离线完成，原始数据不上云。

硬件采用高帧率摄像头与阵列式降噪传声器，适应车内光照波动、行车噪声等复杂环境，经预处理去噪、人脸姿态校正后输出高质量可用数据。不采用单一网络分类，而是将视觉与语音特征馈入端侧大模型，依托跨模态融合能力精准识别儿童年龄、性别与情绪状态。

年龄识别先由CNN提取人脸轮廓与五官特征，再由端侧大模型结合儿童发育规律，按0～3岁、4～6岁、7～12岁分段预测，有效解决低龄儿童面容相似度高带来的识别偏差；性别识别：融合面部轮廓与语音频谱特征，通过大模型强化关键特征权重，弱化遮挡、侧脸及表情干扰，提升复杂场景下的识别鲁棒性；情绪识别：同步捕捉面部微表情与语音语调特征，经端侧大模型关联分析，精准判别哭闹、烦躁、平静和开心等状态，为智能安抚与交互策略调控提供支撑。

2.2 动态画像系统

系统在与儿童长期交互过程中，依托端侧大模型的自主学习和知识图谱构建能力，为每个儿童建立专属动态画像。画像以儿童为核心，整合其偏好的内容类型、互动频次、响应时长、情绪变化规律及年龄变化等信息，所有画像数据均本地存储与更新，不同步至云端，最大限度保护家庭隐私。技术层面采用图神经网络完成各维度信息的关联建模，再由端侧大模型梳理关系、挖掘规律，能够根据日常新增交互记录随时增量更新画像，无需整体重新训练，保证画像信息与儿童当前习惯、状态同步，为个性化内容推送和互动策略匹配提供真实数据支撑。

（1）兴趣偏好建模：系统根据日常交互记录，统计儿童对童话、儿歌或科普等内容的点击意愿、停留时长和情绪反馈，通过端侧大模型归纳整理，量化各类内容的喜好程度，划分出偏好、一般接受和明显排斥的类型，形成清晰的兴趣标签，为内容推荐提供依据。

（2）行为模式挖掘：依托端侧大模型对时序行为数据的归纳能力，系统总结出儿童在特定场景下的固定行为模式，例如情绪哭闹时更容易接受儿歌安抚、乘车初期更愿意听科普小故事等。基于场景与行为的对应规律，系统可提前预判儿童需求，使交互安抚更具针对性。

（3）年龄动态更新：系统周期性检测儿童年龄特征，由端侧大模型根据识别结果自动判断所处年龄区间，一旦满足分段切换条件，即本地更新年龄段标签，并自动适配相应阶段的内容难度、互动方式和安抚逻辑，确保系统策略始终贴合儿童当前成长阶段。

（4）个性化推荐：利用动态画像生成的兴趣、行为、年龄和情绪等标签，直接在端侧大模型内部对接内容生成与交互决策模块。系统依据画像特征自动匹配适合的故事类型、互动语气和安抚方案，为每个儿童定制专属交互策略，实现个性化陪伴服务。

2.3 自然语言处理与内容生成

系统基于端侧轻量化大模型构建自然语言生成引擎，支持实时、定制化内容生成。模型采用Transformer架构，结合领域自适应微调技术，针对儿童语言特征进行优化，确保生成内容符合儿童认知水平与语言习惯。内容生成模块支持多种功能。

（1）故事生成：根据儿童兴趣与情绪状态生成个性化故事，支持主题定制（如动物、太空或童话）。

（2）谜语生成：生成符合儿童年龄认知水平的趣味谜语，支持互动式问答。

（3）儿歌生成：生成节奏明快、歌词童趣的儿歌，支持方言及中英文混合表达。

（4）多语言支持：支持普通话、粤语或四川话等方言自适应，以及中英混合表达，提升互动包容性。在虚拟人物讲述生成内容时，同步输出3D表情动画与语音语调控制，增强表达的生动性与情感共鸣。

2.4 表情和语音交互优化

系统集成高精度语音识别与表情合成模块，实现虚拟人物与儿童的自然、流畅交互。语音识别模块采用端侧ASR模型，支持车内噪声环境下的鲁棒识别，准确率≥95%。表情合成模块基于3D虚拟人物模型，通过情感驱动算法控制面部肌肉运动，实现与语义内容匹配的表情同步（如讲故事时微笑、讲恐怖故事时皱眉）。

交互优化策略包括：

（1）语义情感匹配：根据生成内容的情感倾向（如欢乐、紧张或平静）调整语音语调与表情强度。

（2）动作姿态配合：在讲述过程中加入手势、点头或挥手等动作，增强互动真实感。

（3）多模态同步控制：通过统一调度引擎实现语音、表情、动作的时序同步，避免延迟或错位。

2.5 用户反馈与策略优化

为进一步提升系统智能服务的适配能力，本系统搭建了完整的交互反馈闭环与自主优化机制，依托车载本地运行模式完成交互数据统计、行为规律总结及服务策略动态调整，使系统陪伴服务持续贴合儿童实际使用需求。

在日常乘车交互中，系统全程记录儿童的各类行为表现，包括情绪状态变化、对互动内容的接受程度、参与积极性及情绪平复效率等多维度信息。所有交互数据均保存在车载本地设备，在保障隐私安全的前提下持续积累用户行为数据。

系统依托端侧大模型对长期积累的交互数据进行分析，总结不同年龄段儿童在乘车场景下的情绪变化规律、内容喜好倾向及互动习惯，深度挖掘儿童在不同出行状态下的真实需求。结合实际使用效果，系统可自主调整服务运行规则，划分不同情绪状态下的安抚优先级，灵活调整内容推送方向，规避儿童抵触的互动形式，使服务方式更贴合儿童身心特点。

同时，系统根据实际交互效果持续优化服务逻辑，动态调整内容推送偏好权重与互动节奏，合理把控交互频次：既能在儿童情绪躁动时快速安抚，也能在状态平稳时保持适度陪伴，避免过度交互干扰驾驶。

系统完成每一轮策略调整后，会结合前期使用效果进行比对核验，确认优化方案能有效提升使用体验后才投入运行；若未达预期则自动恢复原有服务模式。通过长期闭环迭代优化，不断完善车内儿童智能陪伴交互体系，稳步提升系统的实用性与人性化服务水平。

2.6 安全增强设计

系统集成安全监护模块，保障儿童乘车安全。该模块作为横跨感知层、认知层、交互层和反馈层的并行检测机制，与前述各模块协同工作：感知层持续采集音频信号，认知层的哭声识别子模块实时分析音频特征，一旦检测到持续哭闹或尖叫声学特征，立即触发安全联检流程——自动检测安全座椅状态（安全带系紧程度、座椅角度合理性等）；若哭闹持续超过设定阈值（30s），交互层通过语音提示和HMI弹窗向家长发送通知，建议人工介入，确保儿童安全。

安全增强设计包括触发机制、状态检测和通知等。

（1）哭声识别触发机制：基于语音信号的能量与频谱特征，利用MFCC特征提取与端侧轻量分类器实时识别哭闹行为，与常规语音交互严格区分，避免误触发。

（2）安全状态检测：联动车载传感器（安全带卡扣传感器、座椅角度传感器），检测安全座椅的物理状态是否符合安全规范。

（3）家长通知机制：通过HMI弹窗（驾驶屏+中控屏同步推送）及定向语音提示通知家长，确保应急信息不遗漏。

3 结语

本文提出了一种基于端侧大模型赋能的车机虚拟人物系统，采用“感知→认知→生成→交互→反馈”五层闭环架构，将AI识别、动态画像、自然语言生成、多模态交互与用户反馈优化有机整合，实现了对车内儿童的智能识别与个性化互动。

系统以端侧离线处理为核心设计原则，保障用户隐私安全；以明确的反馈数据指标体系与策略优化流程作为质量保障，从而确保持续提升个性化服务水平。系统在提升哄娃效率、增强交互体验、保障行车安全方面具有显著优势。

未来，系统可进一步扩展至更多用户群体（如老年人、宠物等），并探索与其他车载系统（如导航、空调）的联动，打造更智能、更人性化的车载交互生态。 

参考文献

[1] 张伟 , 李明 , 王磊 . 基于深度学习的车载儿童情绪 识别系统研究 [J]. 汽车工程 , 2023, 45(6): 789-795.

[2] 刘洋 , 陈晓峰 . 大模型在智能座舱中的应用探索 [J]. 人工智能学报 , 2024, 12(3): 45-52.

[3] WA N G L , C H E N Y, Z H A N G H . M ultim o d al Interaction for In-Vehicle Virtual Agents: A Survey[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8): 10234-10248.

[4] 赵静 , 吴涛 . 端侧 AI 在智能汽车中的部署与优化 [J]. 计算机应用 , 2023, 43(4): 1121-1128.

[5] L I X, ZHANG M, L IU J. Pe rsonalized Content Gene ration fo r Child ren in Sma rt Ca rs Using Large Language Models[J]. ACM Transactions on Interactive Intelligent Systems, 2024, 14(1): 1-25.

本文为“AI汽车制造业”首发，未经授权不得转载。版权所有，转载请联系小编授权（VOGEL100）。本文作者：刘静 刘海明 张雨亭，单位：长城汽车股份有限公司。责任编辑龚淑娟，责任校对何发。本文转载请注明来源：AI汽车制造业