AI Lab — Rockchip 边缘 AI 模型库 - 1

AI Lab — Rockchip 边缘 AI 模型库

在 reComputer RK3576/RK3588 上一站式试用主流 AI 模型——目标检测、对话、图片理解，全部本地运行。

入门15min人工智能
rk3576rk3588edge-ainpuyoloobject-detection大模型deepseekvlmqwenmultimodal

这个 Lab 能帮你做什么

在 reComputer RK3576 / RK3588 上一站式试用主流开源 AI 模型。选一个预设、一键部署，就能开始调用 API ——全部在本地设备运行，不用上云。

预设模型你将获得适配硬件
目标检测YOLO 11（极速版 / 均衡版 / 精确版）在图片或实时视频中识别 80 种常见物体RK3576 或 RK3588
大模型对话DeepSeek-R1（1.5B / 7B，多种量化）OpenAI 兼容的本地对话 APIRK3576（7B 建议 8GB 内存）
视觉对话Qwen2.5-VL看图说话、对图片提问RK3576（8GB+）

输出接口

预设端点方法说明
目标检测:8000/api/models/yolo11/predictPOST上传图片，返回检测框
目标检测:8000/api/video_feedGET带检测框叠加的 MJPEG 视频流
大模型对话:8001/v1/chat/completionsPOSTOpenAI 兼容对话接口（支持流式）
视觉对话:8002/v1/chat/completionsPOSTOpenAI 兼容视觉接口（文本 + 图片）
视觉对话:8002/docsGET交互式 API 文档（Swagger UI）

快速开始 —— 目标检测：

curl -X POST http://<device-ip>:8000/api/models/yolo11/predict \
  -F "file=@photo.jpg" -F "conf=0.5"

快速开始 —— 对话（LLM 或 VLM）：

curl http://<device-ip>:8001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"rkllm-model","messages":[{"role":"user","content":"你好！"}],"max_tokens":256}'

核心价值

  • 一套平台，三种模型 —— 不用搭三套环境，就能试检测、对话、看图三类能力
  • 默认全本地 —— 图片和对话都不离开设备
  • 标准 API —— REST + OpenAI 兼容接口，现有客户端可直接接入
  • NPU 加速 —— 瑞芯微 NPU 在低功耗硬件上高效完成推理

集成场景

场景选用预设怎么配合
安防摄像头入侵检测目标检测NVR 调用推理 API，识别人员/车辆并告警
离线网络中的对话助手大模型对话OpenAI 客户端直接指向本地接口
文档筛查 / 图片初判视觉对话上传截图，用自然语言提问
机器人感知 + 对话目标检测 + 大模型对话检测结果交给 LLM 推理，同一台设备完成

技术规格

规格数值
目标检测延迟~30ms/帧（RK3576） · ~20ms（RK3588）
大模型速度取决于变体——1.5B 最快，7B 推理最强
内存要求1.5B LLM 需 4GB · 7B LLM 与视觉对话需 8GB+
磁盘要求每个预设 3–10GB，取决于所选模型
支持硬件reComputer RK3576（全部预设） · reComputer RK3588 / ROCK 5T（仅目标检测）

使用须知

  • 三个预设相互独立——可以同时部署在同一台 RK3576 上（分别用 8000 / 8001 / 8002 端口）
  • 首次启动会下载 Docker 镜像（1–4GB）并加载模型，请预留几分钟
  • 目标检测无摄像头也可用（图片上传始终可用）
  • 大模型对话和视觉对话仅支持 RK3576——RK3588 暂未提供 RKLLM NPU 支持
  • 所有对话和检测都留在本地，不会发送到任何云端

集成接口

http

Object Detection preset — image upload prediction

/api/models/yolo11/predict · Port: 8000 · Method: POST
{"predictions":[{"class":"person","confidence":0.92,"box":{"x1":100,"y1":200,"x2":300,"y2":500}}]}
http_stream

Object Detection preset — MJPEG video stream with detection boxes overlay

/api/video_feed · Port: 8000 · Method: GET
http

LLM Chat preset — OpenAI-compatible chat completion API

/v1/chat/completions · Port: 8001 · Method: POST
{"model":"rkllm-model","messages":[{"role":"user","content":"Hello"}],"max_tokens":512,"stream":false}
http

Vision Chat preset — OpenAI-compatible vision API (text + image input)

/v1/chat/completions · Port: 8002 · Method: POST
{"model":"rkllm-vision","messages":[{"role":"user","content":[{"type":"text","text":"Describe this image"},{"type":"image_url","image_url":{"url":"https://example.com/photo.jpg"}}]}]}

使用说明

network

Network connection for Docker image pull

rtsp

USB camera (optional, only needed for Object Detection live video)

部署方案

edge_device
reComputer RK3576
reComputer RK3576
reComputer RK3588
reComputer RK3588

下载与安装

预设: 目标检测 {#object_detection}

一键将 YOLO 11 目标检测部署到 reComputer RK3576 或 RK3588。

设备用途
reComputer RK3576 / RK3588使用 RKNN NPU 加速运行 YOLO 11
USB 摄像头（可选）实时视频检测输入

部署后你将获得：

  • 本地运行的 YOLO 11 检测 API
  • 3 种模型大小可选：极速版（最快）、均衡版、精确版（最准）
  • 图片/视频检测 REST API + MJPEG 实时视频流
  • 开箱即用，支持 80 种 COCO 物体类别

前提条件： RK3576 或 RK3588 设备可通过 SSH 访问 + 已安装 Docker

步骤 1: 部署 YOLO 11 {#cv_deploy type=docker_deploy required=true config=devices/cv_rk3576_deploy.yaml}

将目标检测容器部署到 RK35xx 设备。

部署目标 {#cv_rk3576_remote type=remote device=rk3576 device_name="RK3576" config=devices/cv_rk3576_deploy.yaml default=true}

通过 SSH 一键部署到 RK3576。

接线

  1. 将 RK3576 连接到与电脑相同的网络
  2. 如需实时视频检测，请连接 USB 摄像头
  3. 选择模型大小（初学者推荐极速版）
  4. 填写设备 IP、SSH 用户名和密码
  5. 点击 部署

部署完成

  1. YOLO 容器已在 RK3576 上运行
  2. 检测 API：http://<设备IP>:8000/api/models/yolo11/predict
  3. 实时视频流：http://<设备IP>:8000/api/video_feed（需要摄像头）
  4. Web 预览：http://<设备IP>:8000（如可用）

故障排查

问题解决方案
SSH 连接失败检查 IP 地址、用户名、密码
未检测到 NPU确认设备为 RK3576 且已加载 RKNPU 内核模块
未检测到摄像头检查 USB 摄像头是否已连接。无摄像头时仍可通过图片上传 API 进行检测
镜像拉取缓慢检查网络连接，镜像约 1-2GB

部署目标 {#cv_rk3588_remote type=remote device=rk3588 device_name="RK3588" config=devices/cv_rk3588_deploy.yaml}

通过 SSH 一键部署到 RK3588 设备（reComputer / ROCK 5T）。

接线

  1. 将 RK3588 连接到与电脑相同的网络
  2. 如需实时视频检测，请连接 USB 摄像头
  3. 选择模型大小（初学者推荐极速版）
  4. 填写设备 IP、SSH 用户名和密码
  5. 点击 部署

部署完成

  1. YOLO 容器已在 RK3588 上运行
  2. 检测 API：http://<设备IP>:8000/api/models/yolo11/predict
  3. 实时视频流：http://<设备IP>:8000/api/video_feed（需要摄像头）

故障排查

问题解决方案
SSH 连接失败检查 IP 地址、用户名、密码
RK3588 平台未检测到确认设备为 RK3588 系列（reComputer / ROCK 5T）
未检测到摄像头检查 USB 摄像头是否已连接。无摄像头时仍可通过图片上传 API 进行检测
镜像拉取缓慢检查网络连接，镜像约 1-2GB

部署目标 {#cv_rk3576_local type=local device=rk3576 device_name="RK3576" config=devices/cv_rk3576_deploy.yaml}

直接在当前机器上部署（需要 RK3576 设备）。

接线

  1. 确保当前机器已安装 Docker
  2. 点击 部署 开始安装

提示： 首次启动可能需要 5-10 分钟下载 Docker 镜像和初始化模型。

部署完成

  1. 在浏览器打开 http://localhost:8000
  2. 你将看到 YOLO 检测服务正在运行

故障排查

问题解决方法
Docker 未安装安装 Docker：`curl -fsSL https://get.docker.com
端口 8000 被占用停止占用该端口的服务
容器反复重启查看日志：docker logs ai_lab_cv

部署目标 {#cv_rk3588_local type=local device=rk3588 device_name="RK3588" config=devices/cv_rk3588_deploy.yaml}

直接在当前机器上部署（需要 RK3588 设备）。

接线

  1. 确保当前机器已安装 Docker
  2. 点击 部署 开始安装

提示： 首次启动可能需要 5-10 分钟下载 Docker 镜像和初始化模型。

部署完成

  1. 在浏览器打开 http://localhost:8000
  2. 你将看到 YOLO 检测服务正在运行

故障排查

问题解决方法
Docker 未安装安装 Docker：`curl -fsSL https://get.docker.com
端口 8000 被占用停止占用该端口的服务
容器反复重启查看日志：docker logs ai_lab_cv

步骤 2: 试试检测效果 {#cv_verify type=image_predict}

验证检测服务是否正常工作。

模式: 图片检测 {#cv_image_mode config=devices/cv_image.yaml default=true}

上传一张图片测试目标检测。

故障排查

问题解决方案
没有检测结果尝试包含人或车辆的图片
连接被拒绝等待 15-30 秒让服务启动

模式: 实时视频 {#cv_video_mode config=devices/cv_stream.yaml}

查看带检测框的实时摄像头画面（需要 USB 摄像头）。

故障排查

问题解决方案
黑屏检查 USB 摄像头是否已连接
无视频流检查 MJPEG 地址是否正确

预设: 大模型对话 {#llm_chat}

一键将 DeepSeek-R1 大语言模型部署到 reComputer RK3576。

设备用途
reComputer RK3576使用 NPU 加速运行 DeepSeek-R1

部署后你将获得：

  • 本地运行的 OpenAI 兼容对话 API
  • 5 种模型变体可选（1.5B/7B，不同量化方式）
  • 无需云端依赖，所有推理在设备本地完成

前提条件： RK3576 设备可通过 SSH 访问 + 已安装 Docker

步骤 1: 部署 DeepSeek-R1 {#llm_deploy type=docker_deploy required=true config=devices/llm_rk3576_deploy.yaml}

将 LLM 容器部署到 RK3576 设备。

部署目标 {#llm_rk3576_remote type=remote config=devices/llm_rk3576_deploy.yaml default=true}

通过 SSH 一键部署到 RK3576。

接线

  1. 将 RK3576 连接到与电脑相同的网络
  2. 选择要运行的模型变体
  3. 填写设备 IP、SSH 用户名和密码
  4. 点击 部署

部署完成

  1. LLM 容器已在 RK3576 上运行
  2. 对话 API 可通过 http://<设备IP>:8001/v1/chat/completions 访问
  3. 使用任何 OpenAI 兼容客户端连接即可

故障排查

问题解决方案
SSH 连接失败检查 IP 地址、用户名、密码
未检测到 NPU确认设备为 RK3576 且已加载 RKNPU 内核模块
内存不足（7B 模型）7B 变体需要 8GB+ 内存，请改用 1.5B 变体
镜像拉取缓慢检查网络连接，镜像大小 1-4GB 取决于变体

部署目标 {#llm_rk3576_local type=local config=devices/llm_rk3576_deploy.yaml}

直接在当前机器上部署（需要 RK3576 设备）。

接线

  1. 确保当前机器已安装 Docker
  2. 点击 部署 开始安装

提示： 首次启动可能需要 10-20 分钟，用于下载 Docker 镜像和初始化 LLM 模型。

部署完成

  1. 对话 API 可通过 http://localhost:8001/v1/chat/completions 访问
  2. 使用任何 OpenAI 兼容客户端与模型交互

故障排查

问题解决方法
未安装 Docker安装 Docker：curl -fsSL https://get.docker.com | sudo sh
端口 8001 被占用停止占用该端口的服务
未检测到 NPU确认设备为 RK3576 且已加载 RKNPU 内核模块
容器反复重启查看日志：docker logs ai_lab_llm
内存不足LLM 模型至少需要 8GB 内存

步骤 2: 试试对话 {#llm_verify type=text_chat required=false config=devices/llm_chat.yaml}

发送一条消息测试 LLM。

故障排查

问题解决方案
连接被拒绝等待 30-60 秒让模型加载
超时7B 模型加载时间较长，请等待最多 2 分钟
空响应查看容器日志：docker logs ai_lab_llm

预设: 视觉对话 {#vlm_chat}

一键将 Qwen2.5-VL 视觉语言模型部署到 reComputer RK3576。

设备用途
reComputer RK3576使用 NPU 加速运行 Qwen2.5-VL

部署后你将获得：

  • 同时理解图片和文本的多模态 AI
  • 本地运行的 OpenAI 兼容视觉 API
  • 图片描述、视觉问答等功能，全部在设备端完成
  • /docs 路径提供交互式 API 文档

前提条件： RK3576 设备（8GB+ 内存）可通过 SSH 访问 + 已安装 Docker

步骤 1: 部署 Qwen2.5-VL {#vlm_deploy type=docker_deploy required=true config=devices/vlm_rk3576_deploy.yaml}

将视觉语言模型容器部署到 RK3576 设备。

部署目标 {#vlm_rk3576_remote type=remote config=devices/vlm_rk3576_deploy.yaml default=true}

通过 SSH 一键部署到 RK3576。

接线

  1. 将 RK3576 连接到与电脑相同的网络
  2. 填写设备 IP、SSH 用户名和密码
  3. 点击 部署

部署完成

  1. VLM 容器已在 RK3576 上运行
  2. 视觉对话 API：http://<设备IP>:8002/v1/chat/completions
  3. API 文档：http://<设备IP>:8002/docs

故障排查

问题解决方案
SSH 连接失败检查 IP 地址、用户名、密码
未检测到 NPU确认设备为 RK3576 且已加载 RKNPU 内核模块
内存不足VLM 需要 8GB+ 内存，请关闭其他服务释放内存
镜像拉取缓慢检查网络连接，镜像约 3GB

部署目标 {#vlm_rk3576_local type=local config=devices/vlm_rk3576_deploy.yaml}

直接在当前机器上部署（需要 RK3576 设备）。

接线

  1. 确保当前机器已安装 Docker
  2. 点击 部署 开始安装

注意： 首次启动可能需要 10-20 分钟用于下载 Docker 镜像和初始化 VLM 模型。

部署完成

  1. 在浏览器中打开 http://localhost:8002
  2. 即可看到视觉语言聊天界面

故障排查

问题解决方案
Docker 未安装安装 Docker：`curl -fsSL https://get.docker.com
端口 8002 已被占用停止该端口上的其他服务
容器不断重启查看日志：docker logs ai_lab_vlm
内存不足VLM 模型需要至少 8GB 内存

步骤 2: 试试视觉对话 {#vlm_verify type=image_text_chat}

发送图片或文字测试 VLM。

模式: 图片理解 {#vlm_vision_mode config=devices/vlm_chat.yaml default=true}

上传一张图片并提问。

故障排查

问题解决方案
连接被拒绝等待 60-120 秒让模型加载
超时VLM 模型较大，首次加载需要时间

模式: 文本对话 {#vlm_text_mode config=devices/vlm_text.yaml}

仅用文本与模型对话。

故障排查

问题解决方案
空响应查看容器日志：docker logs ai_lab_vlm

部署完成

AI Lab 已运行起来。能访问的接口取决于你部署的预设：

预设API 根路径快速验证
目标检测http://<设备IP>:8000curl -X POST .../api/models/yolo11/predict -F "file=@photo.jpg"
大模型对话http://<设备IP>:8001curl .../v1/chat/completions -d '{"messages":[{"role":"user","content":"你好"}]}'
视觉对话http://<设备IP>:8002打开 /docs 进行交互式测试

目标检测 —— 图片上传

curl -X POST http://<设备IP>:8000/api/models/yolo11/predict \
  -F "file=@photo.jpg" \
  -F "conf=0.5"

目标检测 —— 实时视频流

在浏览器中打开：http://<设备IP>:8000/api/video_feed

大模型对话 —— 快速调用

curl http://<设备IP>:8001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "rkllm-model", "messages": [{"role": "user", "content": "你好！"}], "max_tokens": 256}'

视觉对话 —— 图片 + 提问

curl -X POST http://<设备IP>:8002/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "rkllm-vision",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "这张图片里有什么？"},
        {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
      ]
    }],
    "max_tokens": 256
  }'

Python（OpenAI 客户端）—— 适用于大模型对话和视觉对话

import openai
client = openai.OpenAI(base_url="http://<设备IP>:8001/v1", api_key="dummy")
response = client.chat.completions.create(
    model="rkllm-model",
    messages=[{"role": "user", "content": "你好！"}],
    max_tokens=256
)
print(response.choices[0].message.content)
联系我们
获取方案参考设计与产品选型支持。
下一步