表面缺陷质检

钢带表面一帧一帧地查,当场判合格不合格。

在边缘设备本地完成的钢材表面缺陷质检:固定相机对着钢带或工件,逐帧给出一个 OK/NG 判定,同时送到 PLC 与 MES。可以跑在 reComputer J30 / J40(Orin)上,也可以跑在选配 Hailo-8 的 reComputer R2000 系列(R2035-12)上。

SenseCraft高级40min视觉与视频智能

两帧钢带表面,缺陷已圈出。左:沿钢带分布的四处长条夹杂,每个蓝框带出分数,旁边细白框是标注;右:麻点表面,缺陷散布在整片上而不集中在一处

reComputer J40 系列(Jetson Orin NX 16GB)——本方案数字的实测设备

可复用现场模板

机位固定、光照稳定、缺陷在画面里占得住像素的产线。

钢带与卷材表面检查

钢带与卷材表面检查

冷轧线出口、分卷机后的检查台。逐帧判定接到剔除或打标工位。

既有 PLC 产线改造

既有 PLC 产线改造

已经有剔除气缸和报警灯的老线。判定写进 Modbus 线圈,PLC 照旧读。

上线前的数据采集

上线前的数据采集

新产线试产阶段。先把产线画面录下来,再定阈值和缺陷类别。

不适用:会移动或重新对焦的机位,以及光照变化大的工位。精度按缺陷类别差别大,定产线规模前先看你关心的那几类。

如何实现

固定相机采集画面,质检主机完成判定(reComputer J30 / J40 系列,或选配 Hailo-8 的 reComputer R2000 系列),结果送至既有 PLC 与 MES。

表面质检的设备构成:产线固定相机经 RTSP 接入质检主机,主机可以是 reComputer J30 / J40(Orin)或装了 Hailo-8 的 reComputer R2000 系列,判定结果经 Modbus TCP 给 PLC、MQTT 给 MES、HTTP 给本地预览页

一条产线三样东西:出画面的固定相机、跑检测器与 OK/NG 规则的一台主机、接判定的系统。检测、判定规则、MQTT broker、Modbus TCP 服务端与调试页面全部在这台主机上——图像与帧数据都不出产线。

产线相机

任意对着钢带或工件的 RTSP 摄像头都可以。约束的是取景和光照,不是相机型号。

  • 缺陷在画面里占到足够比例。 实测都用 640×640 画面;划痕只有几个像素宽的大视场,是另一个问题。
  • 光照稳定。 模型只见过一个数据集的光照,换灯、换角度、换表面处理都是新情况。
  • 机位固定。 一次运行期间取景不能变。

实测输入是 10 FPS 的合成视频,不是相机流。定路数前请用自己的视频源压测。

实现什么效果

装上之后,产线旁的屏幕上看到和操作的东西。

实时画面带缺陷框

  • 缺陷位置、类别、分数直接画在画面上
  • 顶部写明判 NG 的具体依据

判定逐帧留痕

  • 每帧记录判定、缺陷数与耗时
  • 缺陷类别为模型原始类名,不做二次归类
实测数据

公开数据集上的工程基准,数据集许可确认中。

产线能得到什么典型值设备
拍到画面到判定落在 Modbus 线圈P50 9.3 ms(P99 9.5 ms)reComputer J40 系列(J4012,Orin NX 16GB)
缺陷检出精度(mAP50)0.7577reComputer J40 / J30 系列
部署阈值下的精确率与召回P 0.765 / R 0.697reComputer J40 系列
10 FPS 产线节拍下一台主机接几路8 路reComputer J40 系列

同一链路在 reComputer J30 系列上为 P50 10.56 ms;选配 Hailo-8 的 reComputer R2000 系列为 P50 11.61 ms、mAP50 0.7091。

精度按缺陷类别差别大:scratches 0.97,crazing(龟裂)0.36。按总分定产线规模前,先看你关心的那几类。

验证图每张都带缺陷,干净钢带的误报率要用自己的产线图像测。各硬件单帧时延、多路并发吞吐与实测基准矩阵,详见 工程 Wiki · 表面缺陷检测方案。

能拿到什么数据

部署完之后,这三个接口就是全部契约。

类型位置内容
Modbus TCP端口 502,unit 1,Coil 0/1 + HR 0–7Coil 0 = NG、Coil 1 = OK。HR 0 主缺陷类别,HR 1 缺陷数,HR 2–5 主缺陷框 ×10000,HR 6–7 心跳秒数
MQTT端口 1883,<设备名>/inspection/<流编号>/results每帧一条 JSON:判定、原因、缺陷数、主类别、耗时,以及每个框的类别、分数与位置
HTTP端口 8080,/preview.mjpg /healthz /events /snapshot.jpg只读调试页:带检测框的实时预览、健康计数、最近判定

寄存器先于线圈写完,以线圈为触发的 PLC 读到的是同一帧;一台主机接多路时,Modbus 上只有最近一次判定,逐路结果从 MQTT 取。设备名与流编号在部署时填写,多条产线可共用一个 broker。框的编号只在一帧内有效,不跨帧跟踪同一处缺陷;可选的异常分数是独立字段,不改变判定。

移植到你的业务系统

可复用的单元不是"六类钢材缺陷",而是相机 → 检测器 → OK/NG 规则 → Modbus + MQTT + 调试页面这条链。只有检测器的类别与权重与具体产品绑定,往下原样可用。

层迁移要付出什么
取景与光照规则、固定机位要求原样复用
两套运行时(Orin 上的 TensorRT、Hailo-8 上的 INT8)与模型下发原样复用
各检测器共用的后处理原样复用
OK/NG 规则与分数阈值重新调参,不用重写
Modbus 寄存器表、MQTT 主题与消息校验原样复用
可选的异常通道原样复用,用自己的 OK 图重新标定
检测器类别与权重用你自己的图像重训

适用范围:钢带、板材或工件表面缺陷,PLC 在产线节拍内按 OK/NG 信号动作。

什么情况下不适用

  • 今天的对外或面向客户的部署。 数据集许可确认前,权重、编译后的模型与叠加图不能用于对外交付。
  • 在 640² 输入下没有稳定视觉特征的缺陷。 crazing 在三种检测器上 AP50 都是 0.30–0.36,要换更高分辨率或别的传感方式。
  • 一开始就需要误报率数字的场合。 验证图每张都带缺陷,这些数据说明不了干净钢带的误报。

如何部署

说说你的现场情况,硬件由我们来定;再接上数据、照步骤装。

相机路数

一台主机要接几路相机?一个机位就是一路相机。容量只在 Orin NX 16GB 上实测过,口径是每路 640² / 10 FPS。

或者自己比一遍:各配置参数对照部署指南 · 40min →
套餐用途设备数量
IP 摄像头 + reComputer J30 / J40(Orin)检测主机reComputer J40 系列(Jetson Orin NX) / reComputer J30 系列(Jetson Orin Nano)(二选一)1
IP 摄像头IP 摄像头1
IP 摄像头 + reComputer R2000(Hailo-8)检测主机reComputer Industrial R20 系列1
IP 摄像头IP 摄像头1
套餐视频来源质检主机模型下发方式
IP 摄像头 + reComputer J30 / J40(Orin)你自己的 RTSP 摄像头reComputer J40(Orin NX 16GB)或 J30(Orin Nano 8GB)首次部署在设备上构建,Orin NX 16GB 上实测 291 s
IP 摄像头 + reComputer R2000 系列(R2035-12,Hailo-8)你自己的 RTSP 摄像头选配 Hailo-8 加速器的 reComputer R2000 系列(R2035-12)设备外编译,部署时下载
  • 两个套餐跑同一套 OK/NG 规则和同样的输出。
  • 结果表里的数字都在 Orin 套餐上测得,另外两种检测器也只在这个套餐上提供。
  • 难度标为高级;首次部署预留约 40 分钟,Orin 因构建引擎会更久。

常见问题

数据集许可确认前不能。检测器用的是 NEU-DET 的转存副本,从原作者起的授权链还在核实。确认前,权重、编译后的模型与检测叠加图不能用于对外交付。

没有找到你要的答案?
联系我们
获取可部署方案与产品选型支持。
下一步