用最少的硬件(一台 SenseCAP Watcher 和一根 USB-C 线)开箱体验流式语音对话:将 Watcher 连入网络并接入 SenseCraft AI 云平台,配置智能体角色,通过 MCP 协议联动工作站,直接开始自然语言对话。
- 设备: SenseCAP Watcher,USB-C 数据线;可选一台工位电脑或边缘主机(如 reComputer R1100)。
- 网络: 2.4 GHz WiFi。
- 账号: SenseCraft AI 平台账号(免费注册)或 小智 App。
不想在网页上手动勾选或敲命令?你可以让 AI 助手根据现场情况自动核算主机与配件,或者在设备通电后一键运行脚本自动安装。
用最少的硬件(一台 SenseCAP Watcher 和一根 USB-C 线)开箱体验流式语音对话:将 Watcher 连入网络并接入 SenseCraft AI 云平台,配置智能体角色,通过 MCP 协议联动工作站,直接开始自然语言对话。
将小智语音主控固件写入 Watcher 以启用语音交互。
...53 / ttyACM1)| 现象 | 处理 |
|---|---|
| 找不到串口 | 换一条 USB-C 数据线(确保支持数据传输,非仅充电线)或换个 USB 口 |
| 选错串口(烧录无反应或立刻失败) | 列表里换另一个 CH342 串口再试 |
| 烧录卡住或失败 | 按住 BOOT 键,按一下 RESET 键,松开 BOOT 键,重新点击烧录 |
| 问题 | 解决方法 |
|---|---|
| 看不到 Watcher-XXXX 热点或配网失败 | Watcher 仅支持 2.4 GHz Wi-Fi;请使用 2.4 GHz 网络并重新通过手机热点配网。 |
| 屏幕上没有 6 位绑定码 | 绑定码在 Watcher 联网并重启后显示,请等待重启完成。 |
| 问题 | 解决方法 |
|---|---|
| 绑定码被拒绝 | 在“模型 -> SenseCAP Watcher -> Watcher Agent -> 绑定设备”中输入 Watcher 屏幕当前显示的 6 位码。 |
| 唤醒词无响应 | 清晰说出“小智小智”,或直接说话;确认 Watcher 已连接 2.4 GHz Wi-Fi。 |
| 找不到 MCP 接入点 | 打开智能体设置并向下滚动到“MCP 设置”。 |
在语音对话的基础上,让 Watcher 拥有“眼睛”:开启视觉主动唤醒,摄像头看到人出现在面前时主动开口打招呼并进入对话;通过语音随时讲解与调节视觉感知核心参数。
开启人脸检测,走到 Watcher 面前触发主动问候。
self.vision.mode: 1),Watcher 确认进入端侧人脸检测模式。| 问题 | 解决方法 |
|---|---|
| 没有主动问候 | 确认视觉模式 1 已开启(说“开启人脸检测”),并在距离约 0.5-1.5 米处停留超过持续确认时间(默认 3 秒)。 |
| 一次对话后不再问候 | 对话结束后有冷却间隔;等待其结束,或在下一步缩短该间隔。 |
在对话中,试着询问 Watcher 它的视觉参数,Watcher 会调用内部工具并为你讲解与设置:
| 对 Watcher 说 | 效果 |
|---|---|
| "查询视觉参数" | 汇报当前阈值、持续时间与冷却间隔 |
| "把检测阈值调到 80" | threshold,0-100,越高误报越少 |
| "把持续时间改成 2 秒" | duration,0-60 秒,停留满该时长才确认 |
| "把冷却时间设为 10 秒" | interval,0-60 秒,对话后再次唤醒前的等待 |
| "切换到人脸检测模式" / "关闭主动唤醒" | mode:0=关闭,1=人脸检测,2=人脸识别,3=熟人免打扰 |
| 问题 | 解决方法 |
|---|---|
| 参数值不被接受 | 取值范围:threshold 0-100,duration 0-60 秒,interval 0-60 秒,mode 0-3。 |
| 误触发问候过多 | 提高 threshold 或 duration,或增大 interval。 |
在能感知“有人”的基础上,进一步识别“具体是谁”:启用 Himax WE2 独立视觉 NPU 运行 SCRFD + MobileFaceNet 双模型,端侧离线识别人脸、直呼其名,并在本地 NVS 存储最多 20 人的人脸特征库。
Watcher 内部由 ESP32-S3(主控兼语音)和 Himax WE2(视觉 AI NPU)组成:
...51 / ttyACM0)。| 问题 | 解决方法 |
|---|---|
| 找不到串口 | 使用数据线并选择编号较小的端口(SERIAL-A,如 ttyACM0);SERIAL-B 是步骤 2 使用的 ESP32-S3 串口。 |
| 烧录失败 | 重新插拔 USB-C 数据线后再次烧录。 |
人脸特征数据库存储在 ESP32-S3 的本地 NVS 分区中:
| 问题 | 解决方法 |
|---|---|
| 找不到串口 | 选择 SERIAL-B 端口(ESP32-S3),不要选步骤 1 使用的 Himax 端口。 |
| 人脸库不可用 | 人脸库存储在 ESP32-S3 的 NVS 中;若之前未烧录小智固件,请先在本步骤烧录。 |
通过 USB 连接电脑,在本地人脸数据库管理面板录入家人或同事的人脸:
拔掉 USB 数据线让 Watcher 独立运行,然后切换到识别模式。
self.vision.mode: 2)。mode: 3),熟人经过不再逐个问候,仅在陌生人出现时发声提醒。| 问题 | 解决方法 |
|---|---|
| Watcher 没有叫出名字 | 确认识别模式 2 已开启(说“开启人脸识别”),且该人员已在步骤 3 中录入。 |
| 熟人没有被问候 | 熟人模式(mode: 3)会对熟人静音;说“开启人脸识别”可恢复模式 2。 |
使用搭载 ESP32-P4 芯片与 8 寸电容触摸屏的 reTerminal D1001 部署桌面语音智能体。支持屏幕触控配网、端侧摄像头主动视觉唤醒打招呼,以及局域网 HTTP 卡片推送。
将小智语音与端侧视觉固件写入 reTerminal D1001。
/dev/cu.usbmodem*,Linux 显示为 /dev/ttyACM*,Windows 显示为 USB JTAG/serial 端口)| 现象 | 处理 |
|---|---|
| 找不到串口 | 换用支持数据传输的 USB-C 数据线,直连电脑 USB 接口(避免使用拓展坞) |
| 烧录中断或失败 | 拔下 USB-C 数据线,重新插入后再次点击烧录 |
在触控屏上配置 Wi-Fi,绑定设备,并测试主动问候与卡片推送。
| 问题 | 解决方法 |
|---|---|
| 没有显示 Wi-Fi 列表 | 点击屏幕左上角的网络图标;仅可使用 2.4 GHz 网络。 |
| 没有显示 6 位绑定码 | 设备联网后才会显示绑定码;请在小智控制台或 SenseCraft AI 平台的设备管理中输入。 |
| 卡片推送请求失败 | 使用屏幕左上角显示的 IP 与 8080 端口,并从同一局域网内的电脑发送请求。 |
局域网卡片推送:设备连接 Wi-Fi 后,屏幕左上角可查看局域网 IP(例如 192.168.x.x)。支持在同局域网下通过 8080 端口推送卡片,最小可执行验证命令:
curl -X POST http://<设备IP>:8080/panel/markdown \
-H "Content-Type: application/json" \
-d '{"text":"# 你好,D1001\n已连接到局域网!"}'