简介目标检测与图像分类是计算机视觉领域的两大基础任务前者解决“物体在哪里”后者判断“物体是什么状态”。YOLOv8作为新一代实时目标检测框架凭借高效的特征提取与解耦头设计在速度和精度上取得了良好平衡成为工程落地的热门选择。在实际应用中利用YOLOv8训练自定义检测模型再结合分类分支对检测区域进行状态评估即可构建端到端的视觉识别系统。例如在书籍管理场景中通过摄像头实时推理自动框出每本书并预测其新旧程度可辅助图书整理、二手交易等业务。文章系统阐述了基于YOLOv8的书籍检测与成色预测级联方案涵盖数据标注、模型训练、推理部署及性能优化为类似视觉项目提供可复现的实践参考。 前阵子家里书架乱成一团想找本书得翻半天而且有些旧书到底还能不能送人、值不值得留全凭肉眼判断。后来就想干脆做个自动化的小工具用摄像头一扫实时把画面里的书框出来顺带给出每本书的成色状态——是全新、较新、还是明显旧了甚至破损。这个需求听起来不大真做起来却要同时解决目标检测、图像分类、实时推理三个问题。我最终选了 YOLOv8 作为核心模型完整跑通了一套“检测 成色预测”的级联方案也踩了不少坑。这篇文章就把整套思路和源码级细节拆开讲清楚。内容包括技术路线怎么选、数据集怎么做标注、YOLOv8 怎么训练自己的书籍检测模型、成色状态预测模块怎么接进去以及最后怎么部署到摄像头实时场景里。不管你是刚接触 YOLOv8 的初学者还是想快速落地一个视觉识别小项目的开发者这都能当作一份完整的参考直接照着复现。1. 内容整体设计与思路拆解1.1 先想清楚检测和成色预测是两件事还是一个模型书籍识别和成色状态预测本质上是两个不同粒度的视觉任务。书籍识别要做的是目标检测在画面里把每一本书的位置框出来成色状态预测要做的是图像分类给已经框出来的书判断新旧等级。这两个任务可以合在一个模型里做也可以拆成两个模型做我分别说下利弊。合在一起做的做法是直接在标注阶段把“旧书”“新书”“破损书”当成不同的检测类别训练一个多类别检测模型。这样做的好处是只维护一条训练流程推理也快一次前向就出结果。但问题也很明显成色是一个连续状态边界本来就模糊强制把它定义成离散类别会让模型在类别边界上很纠结而且一旦一本“较新”的书被误判成“较旧”你想调整阈值都没地方调。拆开做的做法是先训练一个单一类别或者“书本”“非书本”两类的检测模型把所有书框出来再对每个检测框裁剪出局部图送入一个成色分类模型做预测。这样做虽然多一次前向推理但好处是两条任务互不干扰检测模型专注解决“书在哪里”分类模型专注解决“书有多新”。我在实际项目里选了拆开做理由有两点第一成色分类的数据集比检测数据集好做得多可以单独扩充第二分类模型的输出可以做成连续分数方便后续调阈值灵活很多。1.2 为什么选用 YOLOv8 而不是其他检测模型YOLOv8 是 Ultralytics 在 2023 年初推出的目标检测框架也算是我踩过几代 YOLO 之后感觉最顺手的一个版本。相比 YOLOv5它在 C2f 模块、Anchor-Free 解耦头、损失函数上都做了调整训练收敛快精度也更好相比 Faster R-CNN 这类两阶段模型YOLOv8 在实时性上的优势非常明显尤其是我这种需要摄像头实时识别的场景速度是硬指标。另外一个很实际的理由是 YOLOv8 的生态确实省心。Ultralytics 把检测、分类、分割、姿态估计都统一在一个仓库里我训练检测模型用的命令是yolo detect train训练分类模型用的命令是yolo classify train数据格式、参数接口、模型导出逻辑几乎一致。加上官方提供了 N/S/M/L/X 五个体积档位的预训练权重小模型跑轻量设备大模型跑高精度任务按需取用就行。对于书籍这种目标尺寸不算极端、背景不算特别复杂的场景我在 GTX 1660 Ti 这块 6G 显存的卡上跑的是 YOLOv8n后面又尝试了 YOLOv8s最终根据实测帧率做了取舍。1.3 整体流程图从摄像头画面到成色标签整个系统的运行链路是这样的摄像头或者视频流逐帧读取画面先把当前帧缩放到模型输入尺寸送入训练好的检测模型检测模型输出所有书本的边界框和置信度。然后对每个边界框做非极大值抑制NMS过滤去掉明显重叠的框再按置信度阈值滤掉低质量结果。接下来对保留下的每个框从原图中裁剪出书籍区域灰度化也好、直接缩放也好预处理后送入成色分类模型最终在画面上画出边界框并标注“九成新”“明显旧”“书脊破损”之类的标签。这个链路里有一个值得注意的细节检测模型处理的是整帧图像而分类模型处理的是局部裁剪图两者的输入分辨率不一致预处理方式也不一样。我在写推理脚本的时候是把这两段分开封装成两个函数的这样可以单独测速也能分别调优。如果你在复现时发现整体帧率偏低可以先单独测一下检测模型的耗时再单独测分类模型的耗时瓶颈在哪里一测就出来了。2. 核心细节解析与实操要点2.1 采集书籍数据哪些照片应该拍、哪些不该拍做检测模型数据永远是第一步也是最容易翻车的一步。书籍检测看起来简单但实际场景比我预想的复杂。只拍书架上的正面书脊是不够的因为真实使用中摄像头会从各种角度扫到书平放在桌面上的书、堆叠的书、手持的书、光照不均匀的书、书页翻开的书这些都要纳入采集范围。我采集了大概 1200 张图片覆盖了书架全景、单本书特写、三到五本书叠放、书桌杂乱堆放这几个典型场景。拍的时候还刻意加入了一些难例书本被手挡住一半、书脊反光强烈、书和纯色背景融为一体、封面文字密集导致纹理复杂。这些难例在后面训练时起了很大作用否则模型很容易在简单场景下自嗨一上摄像头就露馅。同时也要注意哪些照片不该拍。我的原则是画面里如果书占到不到 5%或者书本严重失焦、运动模糊到人眼都看不清就直接删掉不要觉得“反正模型能学”。YOLO 系列的标注框对目标清晰度是有要求的低质量图像只会给训练带来噪声。还有一个容易被忽略的点书籍数据不要全部来自同一光源、同一角度最好在不同时间段、不同天气条件如果靠窗、不同室内灯光下各拍一部分避免模型把光照条件当成判别依据。2.2 标注工具与标注规范成色等级怎么定标注工具我推荐 X-AnyLabeling比传统 LabelImg 好用不少。它的优势是支持用已有模型做自动预标注我可以先用我的初步检测模型框出大部分书然后人工微调框的位置省了大概一半的标注时间。如果是完全没有初始模型也可以先用 LabelImg 手动标几百张做第一版再用第一版模型辅助标注后续数据这是个越滚越快的正向循环。标注规范上检测模型我只标一个类book也就是把所有看到的书都框出来。这里有个容易踩的坑不要试图在检测框上区分新旧这个动作交给分类模型去做。否则你会陷入“这本算七成新还是六成新”的标注地狱而且不同人标注标准还不一样模型学到的特征也混乱。成色分类的标注是另一个独立流程。我把成色分成了五档方便后续做连续分数映射档位名称描述标准0全新无折痕、无灰尘、封面完好基本没有使用痕迹1较新有轻微翻阅痕迹书脊无破损内页无笔记2一般书页轻微泛黄书脊有轻度磨损有少量折角3较旧纸张泛黄明显封面有划痕书脊有开裂痕迹4破损书页脱落、水渍、严重磨损需要修补或淘汰为了让模型能学到稳定的成色特征分类数据的画面要尽量聚焦在书的整体状态上最好用检测模型先把书裁出来再按上面这个标准人工归档。每档我争取收集了 200 到 300 张裁剪图五档加起来一千多张训练一个分类模型完全够用。如果你觉得五档太细可以先合并成“好”“中”“差”三档跑通流程后再细化。2.3 环境配置YOLOv8 安装和硬件选型环境配置这块是很多人卡住的第一道关。YOLOv8 依赖 PyTorch版本要求不算苛刻我用的组合是 Python 3.9 PyTorch 1.13 CUDA 11.7整套跑下来没问题。网上有人问 PyTorch 2.13 支不支持 YOLOv8其实 Ultralytics 对 PyTorch 版本没有硬性锁定只要 CUDA 和 torch 版本配套就行高版本也能跑。安装命令很简单pip install ultralytics如果你要训练自己的模型还需要确保本地有 NVIDIA GPU并且装好对应版本的 CUDA 驱动。torch.cuda.is_available()返回 True 是最基本的前置检查。我手头这台机器是 GTX 1660 Ti 6G 显存属于中低端卡训练 YOLOv8n 和 YOLOv8s 都能跑但 batch size 要控制不然会爆显存。这里有个实测经验GTX 1660 Ti 训练 YOLOv8n 时batch16、imgsz640可以稳定跑完换 YOLOv8s 后显存占用明显上升我降到batch8才能稳。如果显存实在不够可以开启cacheTrue配合workers4来提升数据读取效率但真正的显存瓶颈只能靠降 batch 或者缩小模型档位解决。2.4 数据集目录结构与 YAML 配置YOLOv8 训练自己的数据集目录结构有统一规范。检测数据集目录我这样组织books_det/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── books.yamlimages下放图片labels下放对应同名 txt 文件。每个 txt 文件里每行是一个目标格式是class x_center y_center width heightx、y、w、h 都是相对于图像宽高的比例值取值范围 0 到 1。我之前手动用 LabelImg 标的结果会自动生成这种格式但如果你从其他平台导出了 COCO 或者 VOC 格式的数据需要先转换成 YOLO 格式这个转换脚本可以自己写也可以直接搜现成的工具。books.yaml内容如下path: /path/to/books_det train: images/train val: images/val nc: 1 names: [book]nc是类别数names是类别名列表。这个文件在训练命令里直接引用YOLOv8 会按这个配置去读取数据。有个细节容易被忽略path最好写绝对路径尤其是在跨平台复现的时候相对路径经常因为当前工作目录不对而报错。3. 实操过程与核心环节实现3.1 训练第一个检测模型命令行参数逐项说明数据准备好后第一次训练可以直接用官方预训练权重作为起点这比随机初始化收敛快得多效果也好得多。我用的是 YOLOv8n 预训练权重训练命令如下yolo detect train databooks.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0这里每个参数都有讲究。data指定刚才写好的数据配置文件model指定预训练权重路径框架会自动下载epochs建议先设 100但不是越多越好我后面会讲到怎么判断早停imgsz是输入分辨率640 是默认值对书籍检测一般够用但如果你后期发现小目标漏检严重可以试试 960batch取决于显存大小device0表示用第一块 GPU。训练开始后终端会输出每个 epoch 的 loss、mAP50、mAP50-95、precision、recall 这些指标。第一次训练我观察到 mAP50 从第 30 个 epoch 开始快速上升到第 80 个 epoch 左右趋于平台期最后稳定在 0.97 左右。这个结果对单一类别检测来说已经不错了。训练结束后模型保存在runs/detect/train/weights/best.pt和last.ptbest.pt是在验证集上效果最好的权重后面推理部署用这个文件。3.2 成色分类模型把检测框裁剪出来再训练检测模型训好后接下来做成色分类模型。这一步的数据来源就是我们自己的检测模型用检测模型跑所有采集图片把置信度大于 0.5 的检测框从原图中裁剪出来保存成独立图片然后按第 2.2 节的标准人工归档到五个文件夹里。我写了个批量裁剪脚本核心逻辑就是用model.predict(sourceimg_path, conf0.5, save_cropTrue)YOLOv8 原生支持直接把检测结果裁剪保存这一步比手动抠图快了不知道多少倍。分类模型用的是 YOLOv8 自带的分类分支也就是yolov8n-cls.pt。训练命令yolo classify train data/path/to/books_cls modelyolov8n-cls.pt epochs80 imgsz224 batch32 device0注意这里的data参数是分类数据集的根目录目录结构要这样组织books_cls/ ├── train/ │ ├── grade0/ │ ├── grade1/ │ ├── grade2/ │ ├── grade3/ │ └── grade4/ └── val/ ├── grade0/ ├── grade1/ ├── grade2/ ├── grade3/ └── grade4/每个子文件夹的名字就是类别名框架会直接读取。分类模型的训练收敛更快大概 30 个 epoch 后验证准确率就能到 90% 以上。我最后选了epochs60的模型在验证集上准确率约 93%。分类模型的输出是一个长度为 5 的概率向量取 argmax 就是成色档位也可以把概率值当成置信度输出在界面上显示“较新 82%”。3.3 实时推理脚本检测与分类怎么串起来训练好两个模型后实时推理脚本是整个系统真正的核心。我用 OpenCV 读取摄像头流每帧做一次检测再对检测结果做分类最后把结果画到画面上。核心代码逻辑大致如下import cv2 import torch from ultralytics import YOLO det_model YOLO(runs/detect/train/weights/best.pt) cls_model YOLO(runs/classify/train/weights/best.pt) def predict_book_condition(frame, conf_threshold0.5): results det_model.predict(frame, confconf_threshold, verboseFalse) boxes results[0].boxes.xyxy.cpu().numpy() scores results[0].boxes.conf.cpu().numpy() output_detections [] for box, score in zip(boxes, scores): x1, y1, x2, y2 [int(v) for v in box] crop frame[y1:y2, x1:x2] if crop.size 0: continue cls_result cls_model.predict(crop, verboseFalse) cls_id cls_result[0].probs.top1 cls_conf cls_result[0].probs.top1conf.item() output_detections.append((x1, y1, x2, y2, score, cls_id, cls_conf)) return output_detections这里有两个细节值得注意。第一检测框坐标是 float 类型直接用的话会超出图像边界必须转成 int 并做 clip。第二crop区域不能为空否则分类模型会报错或者产生无意义结果。我在循环里加了if crop.size 0的判断这部分在实际推理中确实遇到过因为 YOLOv8 偶尔会输出坐标越界的框。整个脚本跑下来在 GTX 1660 Ti 上 YOLOv8n 的检测耗时约 8 到 10 毫秒每帧加上后续分类处理和画面绘制整体帧率能稳定在 30 FPS 左右。如果用的是 YOLOv8s检测耗时翻倍到 18 到 20 毫秒左右帧率会掉到 20 FPS 上下。所以如果你的场景对实时性要求高YOLOv8n 是更稳妥的选择如果更看重精度而且摄像头可以放慢YOLOv8s 也值得尝试。3.4 用损失曲线和验证指标判断训练质量训练完不能直接拿 best.pt 就跑还得看训练过程是不是健康。YOLOv8 训练完成后会在runs/detect/train/目录下生成results.png里面有损失曲线和指标曲线。我主要看三个东西train/box_loss、val/box_loss和mAP50。如果train/box_loss持续下降但val/box_loss在某个点开始反弹说明模型过拟合了这个反弹点之后保存的权重就不是最佳选择。YOLOv8 默认会从所有 epoch 里选验证集最优的保存为 best.pt所以一般不用手动干预。如果训练到一半发现 loss 不降反升第一步检查学习率是否过大第二步检查数据是否有标注错误。我遇到过 mAP50 到 0.95 就上不去的情况排查了半天发现是一批图片里书的边缘被切掉了导致部分框标注不完整修正后指标立刻提升。还有个小技巧训练过程中可以开plotsTrue默认开启这样会生成预测样例图。我习惯每 10 个 epoch 打开看一眼预测效果比单纯看数值直观得多。如果发现某些漏检是系统性的比如总是漏掉暗光下的书那就去补暗光数据而不是盲目加大模型。4. 常见问题与排查技巧实录4.1 典型问题速查表下面这个表是我在实际开发中整理出来的照着排查可以省很多时间问题可能原因解决方案训练时直接爆显存batch 太大或 imgsz 过大降低 batch或换用 YOLOv8n检测模型漏检小书本输入分辨率低小目标特征缺失调大 imgsz 到 960或使用 YOLOv8m 以上误检率特别高背景复杂负样本不足增加没有书的纯背景图片作为负样本成色分类总是混淆相邻档位类别定义模糊标注不一致合并档位或增加判别规则更明确的样本摄像头推理掉帧严重分类模型串行处理耗时过高缩小分类输入尺寸或只在检测框超过阈值时才分类识别结果抖动单帧置信度波动剧烈在代码里加轻量时序滤波如最近 3 帧取平均边界框越界导致报错坐标未 clip转 int 后做np.clip并判断 crop 是否为空4.2 实景光照和反光问题我踩过最深的坑书籍是三维物体表面还有光滑的塑封膜这就导致了一个让模型很头疼的问题反光。同一个位置的书早上和下午拍出来的视觉特征差异很大因为阳光角度不同。我第一版模型在自采图片上表现很好但一放到摄像头实时画面上误检和漏检立刻变多。排查后发现是实时光线环境下书脊反光产生了大量高光区域模型把高光误当成了特征。解决办法有几个层面。数据层面我在训练集里加入了大量带有高光的书脊照片还通过随机调整亮度、对比度、饱和度做了数据增强。代码层面我在推理前对每帧做了简单的直方图均衡化减弱光线不均的影响。算法层面如果准备部署到固定场景可以做一个 ROI 区域限定只在桌面或者书架区域内做检测排除其他背景干扰。这三个叠加下来实际场景的误检率下降得非常明显。4.3 推理性能优化从 20 FPS 提到 30 FPS 的几条思路如果你的部署环境性能有限比如只有 CPU 或者像我这样的中低端 GPU性能优化是躲不开的课题。我做的第一件事是模型轻量化把 YOLOv8s 换成了 YOLOv8n精度只掉了一点速度几乎翻倍。第二件事是降低分类模型的输入分辨率从 224 降到 160分类准确率只掉了 1 到 2 个百分点但每帧省下的时间相当可观。第三件事是导出成 ONNX 格式再推理。YOLOv8 原生 PyTorch 推理有额外的 Python 开销导出成 ONNX 后用 ONNXRuntime 推理通常会快 1.2 到 1.5 倍。导出命令非常简单yolo export modelbest.pt formatonnx dynamicTrue导出的best.onnx可以用 ONNXRuntime 加载推理。如果你用的是 TensorRT 能支持的 GPU还可以进一步导出成 engine 格式加速更明显。嵌入式设备部署同理导出成 ONNX 后再转成 NCNN 或者 TensorRT 的格式就能跑在树莓派或者 Jetson 上了。YOLOv8 官方现在也支持直接导出多种格式不用自己写转换脚本这块生态比之前省心太多。4.4 集成到上位机界面展示层要做的事情算法跑通之后要真正让人觉得“能用”还得有一个简单的界面。我不想上重型框架就用 OpenCV 自己做了一个极简显示窗口每帧画面里书本被绿色方框框住左上角标注成色档位和置信度右下角显示当前帧率。逻辑不难就是在前面推理脚本的基础上加了cv2.putText的绘制代码再计算实时的 FPS 显示在画面上。有一点提醒大家如果只是技术验证用 OpenCV 画框就够了。但如果你做的项目要给别人用比如图书馆盘点或者二手书商收书建议把检测结果导出成结构化数据比如 JSON 或者表格方便后续业务逻辑处理。我做了个简单版本每处理 10 帧会汇总一次当前画面里所有书的检测数量、平均置信度、成色分布输出到终端。这个汇总信息对业务判断比单帧结果更有参考价值。5. 后续扩展成色预测还能做什么项目做到这里完整的主流程已经通了。但书这种东西不同版本、不同印刷批次之间的状态差异很大成色预测还可以往更细的方向做。比如在分类模型里增加一个“书页是否泛黄”的细粒度属性或者把模型输出从离散档位改成回归分数让成色变成一个 0 到 100 的连续指标然后再根据业务规则映射回档位。前者本质是多任务分类后者本质是回归问题用 YOLOv8 的分类分支也能改换一下损失函数就行。另一个可以扩展的方向是结合书籍信息做身份识别。如果书的封面或者书脊上有可辨识的文字可以再叠加一个 OCR 模型先把书名和作者识别出来再关联数据库查询出版年份和定价。这样系统就能回答“这本书是不是名人签售版”“这本书的当前市价大概多少”这种更复杂的问题。检测和成色分类是地基OCR 是上层应用这三块接起来就是一个很完整的二手书智能评估工具了。6. 项目源码结构与关键文件说明最后把我这个项目的源码目录结构列出来给大家一个直观的参考book_condition_system/ ├── detect/ │ ├── train.py # 检测模型训练入口 │ ├── data/ │ │ ├── books_det/ │ │ └── books.yaml │ └── weights/ │ ├── best.pt # 最终检测模型 │ └── last.pt ├── classify/ │ ├── train_cls.py # 成色分类模型训练入口 │ ├── data/ │ │ └── books_cls/ │ └── weights/ │ ├── best.pt # 最终分类模型 │ └── last.pt ├── inference/ │ ├── live_detect.py # 摄像头实时推理脚本 │ ├── export_onnx.py # 模型导出脚本 │ └── utils.py # 工具函数裁剪、绘制、FPS统计 └── requirements.txt这个结构不复杂适合作为个人项目的起点。如果你想把检测和分类两个模型合并成一次推理也可以尝试把成色特征作为检测模型的额外输出头但那样修改 YOLOv8 内部结构的工作量会大不少我在这个项目里选择了稳妥的级联方案。踩过几次坑之后我现在的工作流基本固定为先用小模型 少量数据快速跑通全流程再逐步加数据和调参。这样每一步都有反馈不会出现训了三天模型发现数据标注格式错了这种事。如果你也想做类似的项目建议也按这个节奏来先别急着追求完美精度把链路跑通比什么都重要。本文还有配套的精品资源点击获取