基于YOLO11的驾驶员状态检测从数据集构建到模型训练实战一、场景背景在智能交通与车载安全领域驾驶员状态监测Driver Monitoring System, DMS已成为主动安全的核心功能之一。通过车载摄像头实时捕捉驾驶员的面部动作与行为系统可以识别疲劳驾驶闭眼、打哈欠、点头、分心行为打电话、发短信、操作收音机、喝水、化妆以及正常驾驶状态从而在危险发生前发出预警。本文将以驾驶员状态检测数据集为基础使用YOLO11目标检测模型完整演示从数据集整理、标注解析、训练配置到模型验证的全流程。YOLO11作为YOLO系列的最新迭代版本在检测精度与推理速度上均有优化非常适合部署在车载嵌入式设备中。二、数据集说明来源数据集说明表本教程使用的数据集为驾驶员状态检测数据集项目名称为jiashiyuanzhuangtai。原始素材来源于车载摄像头拍摄的驾驶员面部视频经过筛选后选取了100张代表性图片并统一存放于label_studio_import\oss_selected_100目录下。2.1 数据集规模与格式图片数量100张Label Studio 任务数100个图片格式JPEG分辨率与原始视频帧一致标注格式Label Studio 导出 JSON包含每个目标的类别ID与边界框坐标2.2 标注类别该数据集共包含13个标注类别覆盖安全驾驶与多种危险/分心行为类别ID标签名称说明0(背景类)未使用c0Safe Driving安全驾驶正常状态c1Texting发短信c2Talking on the phone打电话c3Operating the Radio操作收音机c4Drinking喝水c5Reaching Behind伸手到后方c6Hair and Makeup化妆/整理头发c7Talking to Passenger与乘客交谈d0Eyes Closed闭眼d1Yawning打哈欠d2Nodding Off点头瞌睡d3Eyes Open睁眼用于与闭眼配对其中c0~c7 属于驾驶分心/危险行为d0~d3 属于疲劳状态相关行为。数据集覆盖了驾驶员在车内常见的多种非正常状态可用于训练多分类目标检测模型。2.3 业务场景适用性该数据集适用于以下场景营运车辆安全监管对公交车、长途客车、网约车驾驶员进行实时行为监控智能座舱系统集成于车载信息娱乐系统或ADAS中疲劳驾驶预警通过检测闭眼、打哈欠、点头等行为触发报警三、样本画面观察在开始训练之前先通过抽帧图片了解数据集的画面特点与场景分布。3.1 原始样本抽帧以下图片展示了驾驶员在不同状态下的车内场景包括正常驾驶、打哈欠、闭眼等行为。画面中驾驶员处于驾驶位背景为车辆内部环境光线条件涵盖白天与夜间。3.2 标注界面示例以下截图来自 Label Studio 标注工具展示了标注框的位置与类别标签。每张图片中标注人员对驾驶员的面部区域、手部动作等关键部位绘制了边界框并分配了对应的行为类别。四、训练流程建议4.1 数据准备与格式转换YOLO11 训练要求数据集采用标准格式即每张图片对应一个同名的.txt标注文件内容为class_id x_center y_center width height归一化坐标。需要将 Label Studio 导出的 JSON 转换为 YOLO 格式。转换步骤解析 JSON提取每个任务的图片路径与标注框信息计算边界框的中心点坐标与宽高并除以图片宽高进行归一化按类别ID写入对应的.txt文件将图片与标注文件按train/val划分建议 80% : 20%目录结构示例dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml4.2 配置文件编写创建data.yaml指定类别名称与数据集路径# data.yamltrain:./dataset/images/trainval:./dataset/images/valnc:13names:[0,c0 - Safe Driving,c1 - Texting,c2 - Talking on the phone,c3 - Operating the Radio,c4 - Drinking,c5 - Reaching Behind,c6 - Hair and Makeup,c7 - Talking to Passenger,d0 - Eyes Closed,d1 - Yawning,d2 - Nodding Off,d3 - Eyes Open]4.3 模型选择与训练命令YOLO11 提供了多种预训练模型n/s/m/l/x根据硬件资源选择。对于车载场景推荐使用yolo11n.pt或yolo11s.pt以平衡速度与精度。训练命令示例yolo trainmodelyolo11n.ptdatadata.yamlepochs100imgsz640batch16device0关键参数说明epochs建议 100~200根据收敛情况调整imgsz输入图片尺寸640 是常用值batch根据 GPU 显存调整device0 表示使用第一张 GPUCPU 训练设为cpu4.4 训练过程监控训练过程中YOLO11 会实时输出 loss、mAP 等指标并自动保存最佳权重。建议关注以下指标Box Loss边界框回归损失应持续下降Cls Loss分类损失反映类别预测准确性mAP0.5IoU 阈值为 0.5 时的平均精度一般应达到 0.8 以上4.5 模型验证结果可视化训练完成后可使用验证集对模型进行评估。以下图片展示了模型在验证集上的检测效果边界框与类别标签已叠加在原始图片上。五、验证指标与误检漏检分析5.1 常见指标mAP0.5:0.95不同 IoU 阈值下的平均精度更严格的评估标准Precision预测为正例中真正例的比例Recall所有正例中被正确检测出的比例F1-scorePrecision 与 Recall 的调和平均5.2 误检与漏检场景基于该数据集的特点训练过程中需注意以下问题问题类型具体表现可能原因误检将“睁眼”误检为“闭眼”光照不足、面部遮挡、标注边界模糊漏检未检测到“打电话”行为手部与面部重叠、手机被遮挡类别混淆“操作收音机”与“喝水”混淆手部动作相似需更多区分性特征定位不准边界框偏移小目标如眼睛、嘴巴定位困难5.3 优化建议数据增强增加随机裁剪、旋转、亮度调整提升模型对光照变化的鲁棒性难例挖掘针对漏检样本进行重新标注或补充类似场景数据多尺度训练使用--multi-scale参数让模型适应不同分辨率的输入模型集成融合多个训练轮次的权重提升稳定性六、素材配图建议在撰写技术文章时配图应准确反映数据集与训练流程。以下为本文推荐使用的配图及说明数据集样本展示使用原始样本抽帧图片仅描述画面场景不断言具体缺陷类别。标注界面示例展示 Label Studio 标注工具的界面与标注框位置。模型验证结果展示训练后模型在验证集上的检测输出。训练过程截图展示训练时的 loss 曲线或配置界面。作者说明本文由思源视觉整理仅作计算机视觉技术实践记录。七、总结本文基于驾驶员状态检测数据集使用 YOLO11 模型完整演示了目标检测在车载安全场景下的应用流程。从数据集的结构解析、标注类别说明到训练配置与验证分析每一步都围绕实际工程落地展开。该数据集虽然规模较小100张图片但类别覆盖全面涵盖了安全驾驶、分心行为、疲劳状态三大类适合用于快速原型验证或算法研究。在实际项目中建议扩充数据量至数千张并覆盖更多光照、角度、驾驶员个体差异以提升模型的泛化能力。YOLO11 在训练效率与检测精度上的表现使其成为 DMS 系统模型选型的有力候选。后续可进一步探索模型量化、TensorRT 部署等工程优化将算法真正部署到车载硬件中。