超市商品图像识别

认出货架和收银台上的商品,新品拍几张照就能加进目录。

识别收银台或货架上的每一件商品:收银台输出商品清单,货架报出缺货和错放。新商品拍 3–8 张照片即可注册,不用重训模型。

高级90min视觉与视频智能

一块货架、4 行 5 列共 20 个货位,在 RK3588 上一次扫描读完——每个货位按判定结果着色,绿色为正常、橙色为空位,底部一行是设备、扫描窗口与不符数,此处为 0/20

同一个 20 货位布局,其中一个货位补错了商品——该框转红并标记 wrong_sku,其余 19 个仍为绿色

RK3588 上的收银台回放——商品经过台面时各自保持自己的轨迹 ID 与实例编号

收银台与货架看板——左侧是最近一笔清单,右侧是四状态货位快照。数据来自上游 web_demo 的合成演示数据,不是现场结果

可复用现场模板

机位固定、商品包装相近、商品目录经常变的门店。

收银道

收银道

便利店与生鲜超市的收银台。相机看一篮子商品,不逐件扫码。

货架盘点

货架盘点

商超排面、无人货柜内层。不用人走一遍,就报出缺货和放错。

每周换 SKU 的门店

每周换 SKU 的门店

零食折扣店、新品试销门店。新品拍 3–8 张注册即用,不跑训练。

不适用:法定计量、法律价格与防损检测。注册张数对精度影响最大,每个 SKU 多拍几个角度。货架画面里商品越多,一帧耗时越长。

如何实现

收银台或货架上方的摄像头采集画面,识别主机(reComputer J40 系列或 reComputer RK3588 系列)完成判定,门店管理端主机汇总,结果送至既有收银或补货系统。

超市商品图像识别的设备构成:一台 RTSP 或 USB 摄像头把画面送进识别主机(Rockchip NPU 盒子、装 Hailo-8 的 reComputer R2000,或 Jetson Orin 盒子),识别主机按帧向管理端主机发 MQTT 消息;管理端承载注册服务、管理界面与 broker,供门店客户端访问

四样东西:架在传送带上方或正对货架的摄像头、跑检测与嵌入的那台主机、生成商品库并提供管理界面的管理端主机、读事件的系统。四样都在现场。管理端是三个套餐共用的基础设施,不是某个套餐的附加项——新 SKU 是在它上面注册的。

摄像头

一台架在收银传送带上方或正对货架的摄像头,走 RTSP 或 USB。摄像头上不跑任何东西。

  • 收银台和货架用不同的模型版本。 收银台版输入 640²,货架版输入 1280²,远处的商品不会丢。
  • 按商品件数做预算,不按帧率。 画面里每件商品都要比对一次,满货架一帧比五件的篮子慢得多。

货架场景需要抽帧或按货位采样。

实现什么效果

装好之后,店长在浏览器里看到和操作的东西。

事件台账,逐帧可查

  • 按场景/设备/SKU/时间筛选事件
  • 详情可查轨迹号、相似度与商品库版本
  • 相似度过近自动标红转 OCR 复核

货架与收银台一屏对账

  • 顶部卡片显示事件数、库版本与累计件数
  • 货位分四类:正常/空位/摆错/认不出
  • 异常货位标明期望与实测 SKU

商品库带版本,改错能回滚

  • 每个版本可查父版本、SKU 数与向量维度
  • 非当前版本一键回滚
  • 回滚后设备下次拉取即生效

注册一个新 SKU

  • 填SKU信息,传3–8张多视角照片
  • 提交即生成新版本,不覆盖原版本
  • 旧版本保留,可随时回滚
实测数据

设备上的回放与公开数据集基准,不是法定计数或计价结果。

门店能得到什么典型值设备
收银台:检出商品到识别结果发出22.3 ms p50(p95 42.8 ms)reComputer J40 系列(J4012,Orin NX 16GB)
2 956 帧收银回放中的丢帧0reComputer J40 系列
货架:检出商品到识别结果发出924 ms p50(p95 1153 ms)reComputer RK3588 系列
货架 704 张裁剪的 top-1,与 CPU 参考对照541 / 704,两边一致reComputer RK3588 系列

商品识别在 Grocery Store Dataset(81 类)上、每 SKU 8 张注册照时:top-1 84.67%,top-5 96.66%。

对精度影响最大的是注册张数:较小模型每 SKU 8 张时 top-1 79.11%,只有 1 张时 51.11%。注册时请多拍几个角度。

能拿到什么数据

部署完成后,接口就这三个,都在本地网络里。

接口位置内容
MQTT retail/v1/events管理端主机上的 broker,1883一帧一条 JSON:每件商品的跟踪编号、框、SKU 与相似度,汇总块(收银台商品与数量、货架空位与错位),以及商品库版本与模型哈希
HTTP /v1/gallery/*注册服务,8089用 3–8 张图注册 SKU 并生成新版本、版本列表、下载当前版本、回滚
HTTP /api/*管理界面,8080按场景、SKU、设备、时间过滤的事件列表;逐件详情;收银台与货架看板

多数对接只读汇总块。相似度要和同一条消息里的商品库版本与模型一起看才有意义。访问要带 viewer、operator 或 admin 角色的令牌;随包 broker 没有密码,离开实验台前先加账号。

移植到你的业务系统

可复用的单元不是「食品杂货」,是「找出商品 → 在版本化商品库里逐件比对 → 聚合 → MQTT」这条链路。只有商品库内容与具体品类绑定,其余原样沿用。

层移植时你要做的
商品检测器与两档输入尺寸直接复用;物体与包装商品完全不像时才需重训
比对模型与量化配方直接复用
版本化商品库与回滚直接复用
注册接口、照片质量检查、访问角色直接复用
MQTT 消息与逐帧汇总按新的计数规则改汇总块
商品库内容与注册照片为新品类重新采集

适用范围:零件盒与配料工位、退货分拣、资产入库、工具柜台账。

不适用的形态

  • 需要法律意义上的计数或价格。 它只数看得见的东西,没有法定计量,不能作防损结论。
  • 只靠小字区分的商品。 读标签的功能没有实现,外观几乎相同的包装分不开。
  • 用随包权重做商用。 两个模型都继承了数据集的非商用条款,必须重训。

如何部署

说说你的现场情况,硬件由我们来定;再接上数据、照步骤装。

拍摄场景

相机看的是什么?场景决定编译产物的输入尺寸,也决定一帧要做多少次嵌入。

或者自己比一遍:各配置参数对照部署指南 · 90min →
套餐用途设备数量
Rockchip NPU —— RK3588 / RK3576管理端主机管理端 / 本地服务器1
识别主机reComputer RK3588 系列 / reComputer RK3576 系列(二选一)1
摄像头RTSP / USB 摄像头1
reComputer R2000(Hailo-8)管理端主机管理端 / 本地服务器1
识别主机reComputer Industrial R20 系列1
摄像头RTSP / USB 摄像头1
Jetson Orin —— TensorRT管理端主机管理端 / 本地服务器1
识别主机reComputer J40 系列(Jetson Orin NX) / reComputer J30 系列(Jetson Orin Nano)(二选一)1
摄像头RTSP / USB 摄像头1
套餐识别主机找商品认商品设备上跑过的整链
Rockchip NPU —— RK3588 / RK3576reComputer RK3588NPU默认 Rockchip CPU货架回放
reComputer R2000 Series (R2035-12, Hailo-8) —— 检测上 NPU,嵌入留 CPU选配 Hailo-8 的 reComputer R2000 系列(R2035-12)Hailo-8主机 CPU不含
reComputer J40 —— TensorRT,两段都上 GPUreComputer J4012(Orin NX 16GB)或 J3011(Orin Nano 8GB)GPUGPU两档都跑过收银回放
  • 三个套餐都还需要管理端主机和一台摄像头。两个管理端镜像在那台主机上构建,不提供预构建版本。
  • 难度定级 advanced;指南给每个套餐留约 90 分钟。

常见问题

不需要。给这个 SKU 拍 3 到 8 张照片传到管理端,会生成一个新的商品库版本。少于三张会被拒绝。

没有找到你要的答案?
联系我们
获取可部署方案与产品选型支持。
下一步